- 博客(125)
- 资源 (3)
- 收藏
- 关注
原创 除了k8s,docker-compose编排容器也是个不错的选择
随着微服务架构的现代兴起,容器化技术已经成为应用开发的重要组成部分。Docker作为最流行的容器化平台之一,使得应用的部署和管理变得更加灵活。我平时使用docker容器通常都是部署单个小的应用,所以使用docker的命令就可以满足启停、运维的需求。但是对于一个应用中多个容器这种情况来说,就需要一些工具来将这些容器组织起来。k8s是我们听过最常用的容器管理工具,但是对于个人开发者来说,k8s有点过于重量级了,其中包含了许多复杂的组件,从学习和部署都是需要一定的时间和资源成本。所以简单好用的。
2024-11-25 15:55:03 947
原创 redis:大数据开发中,告诉我怎么满足2000万QPS的请求..
在多年的SparkStreaming的大数据流处理开发中,除了Kafka,Redis是用的最多的组件。目前生产有多个redis集群,最大的32节点的集群的key已经达到40亿个,峰值2000万的QPS。离线更新的维表数据,用于增加流数据的维度信息应用实时更新的状态数据不管是哪种应用场景,最后在SparkStreaming中都需要与Redis进行交互,来完成get、set操作假如SparkStreaming中RDD的时间间隔为1min,那么这个窗口的数据在1min内计算完成才算是"不延迟"。
2024-11-25 15:46:16 662
原创 Dockerfile专题 | 如何构造自己的docker镜像
说起docker,大家都知道是容器。我们从仓库中docker pull拉取镜像(image)到本地,然后docker run指定镜像来启动一个容器(container)。那么,这个容器就开始守护内部的程序。但是很多时候,我们需要在docker中部署自己的程序,或者因为pull的镜像太大,我们需要基于一个小的镜像来重构,这就需要我们要自己构建docker,而docker的构建步骤是基于Dockerfile来实现的。最后讲讲为什么使用centos,而不是alpine镜像。
2024-09-14 17:14:09 1036 2
原创 豆包编程助手,10分钟让我零基础完成vscode插件的开发
在日常的代码开发中,总会遇到很多很小的知识点,想用却无从记起。尤其是在日常的前端开发,想要添加一个自己想要的css样式,却又想不起属性名,然后再css网站和笔记中搜索。当时想,如果能在IDE中内嵌一个AI编程助手就好了。后来GitHub推出了Copilot,再后来豆包推出了以智能代码补全为代表的MarsCode 编程助手。在惊喜之余,更多的是想要体验一下豆包MarsCode 编程助手的功能。最后就是在package.json中声明命令,并在中将其快捷键定义为。
2024-09-14 17:12:38 1902
原创 我与数据库的十年 | 从MySQL到TencentDB,带你实现数据治理平台
在观看腾讯云开发者社区打造的纪录片《中国数据库前世今生》时,了解了中国数据库从无到有、破茧化蝶的发展历程。在充满感动和感慨之余,让我不仅想起了在这十年里,被数据库影响的程序员人生。2014年我还在大二,在期末考试的前夕,为了数据库不挂科,我熬夜在笔记本上搭建了第一个MySQL用来练习,后来在大学的课程上又学习了sqlserver、oracle。时间匆匆,六月的毕业季来的总是猝不及防。在毕业的那年,赶上了“去IOE”的浪潮,这标志着oracle的落幕,从此国产化数据库进入了一个全新的时代。
2024-08-13 17:58:05 1107
原创 一条指令,解决外网无法访问云服务器Kafka容器问题
在上一篇跟着官方文档使用docker,在云服务器上搭建了一个单节点的Kafka集群,在云服务器上连接成功,当我在笔记本上使用Spark尝试连接的时候,无法消费到数据。从上图可以看出,我在consumer config中明明将设置成了弹性公网IP,而且在笔记本上Telnet连接Kafka网络也是通的。但是当我启动Spark程序之后,程序应该输出从kakfa中消费的数据,但是程序却卡住了。从日志最后一行可以看到,这里居然连接的是localhost,这肯定是消费不到数据的。
2024-06-19 17:34:41 1575
原创 Spark:从0实现30s内实时监控指标计算
说起Spark,大家就会自然而然地想到Flink,而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论:Flink实时性大于Spark。的确,Flink中的数据计算是以事件为驱动的,所以来一条数据就会触发一次计算,而Spark基于数据集RDD计算,RDD最小生成间隔就是50毫秒,所以Spark就被定义为亚实时计算。本篇文章主要是利用Spark的滑动窗口,做了一个计算平均响应时长的应用场景,以Kafka作为数据源、通过滑动窗口和reduceByKey算子得以实现。
2024-06-19 17:33:51 918
原创 告别Zookeeper,两条命令容器化搭建Kafka
在大数据的实时数据处理中,不论是使用Spark、还是Flink,都需要与其他组件进行数据交互才有意义。在整个数据流处理中,交互组件的性能决定了数据处理的效率,例如在与缓存中间件Redis的交互,QPS过高就会导致响应过慢,进而表现为程序整体数据处理延时。如何保证组件性能就成为了重中之重,所以在选择组件的时候,我们会根据其测试的性能指标作为参考依据。在大数据实时流处理中,Kafka是用的比较多的数据源组件。其分区机制提高了并发、副本机制保障了数据的高可用。
2024-06-18 15:55:10 1138
原创 大数据毕业设计之前端10:tab的关闭,让滑动块何去何从
之前的两篇文章,一篇实现了tab页的新增,一个讲了如何实现滑动块,本篇就来讲一下如何实现tab的关闭,以及tab关闭时滑动块的变换情况。关闭的是滑动块所在的tab,即被激活的tab关闭的是非滑动块所在的tab如何区分是不是滑动块所在的tab呢,用关闭tab的route.path与一比较就可以了。代码看下图:首先直接调用状态变量navTabs的closeTab,看看closeTab是如何定义的.})tabsView。
2024-06-18 15:53:56 791
原创 大数据毕业设计之前端09:导航栏tab的滑动块如何实现
上一篇主要讲了如何动态添加导航栏的tab,那么本篇将会写如何关闭tab、实现滑动块已经一些细节上的操作。这是实现新增、关闭等功能后的tabs.vue,里面绑定的方法逻辑都是我基于BuildAdmin重构实现的,后面在讲滑动块的时候,可以回来看看图中html的代码。首先就是利用reactive来定义响应式的activeBoxStyle变量,定义两个属性,一个是width表示宽度,另一个trasnform是元素转换,滑动块实在水平轴上进行来回变换,所以就用translateX。})
2024-06-17 15:16:45 1224 1
原创 五分钟,本地搭建3节点Hadoop3集群
距离唯一一次搭建Hadoop集群,已是六年有余。那时候大数据的学习资料还是我从某宝25买来的,如今大数据已遍地开花。最近想写一些关于大数据的东西,例如Spark、flink等,想放在Yarn上跑,所以就从Hadoop的搭建开始写起。这就是我在虚拟机上搭建Hadoop3的步骤,有兴趣的同学不妨试试!
2024-06-17 14:44:56 1226
原创 大数据毕业设计之前端08:导航栏动态添加tabs,vue如何实现
之前的几篇文章都是基于comtainer布局的aside边栏部分来写的,像logo、menu以及Icon图标组件,后面也写了关于路由动态加载和菜单渲染的文章。今天就撤离aside,来讲一下header部分的实现。使用pinia定义了一个的路由信息状态,方便各个组件修改路由的状态。之前在路由动态加载中就提到过,在router.ts工具类中,通过将处理好的菜单路由放到了中,然后渲染menu。是实现tabs的三个变量。activeRoute表示当前激活的路由是哪个,这样才能利用route.push。
2024-06-06 10:02:59 958
原创 我用AI实现了我的插画梦
记忆中的青春,总在追逐一些美的事情。今天晚上泡在健身房里、明天又买了把吉他学起了民谣。那一年被《千与千寻》、《你的名字》吹过的夏天,脑海里不断回放着新海诚、宫崎骏故事世界的每一帧画面。后来在朋友的帮助下开始学习插画,自学了一段时间之后,因为各种原因无限制搁浅了,这也算是青春的一种遗憾吧。时隔多年,在平行时空回到了那个夏天,我用AI实现了我的插画梦。终于不用再等到回家了,在公司打开笔记本上的浏览器上就能玩AI绘画。家里台式机显卡渲染不了的图,我就放在HAI上跑,避免了显卡崩溃我崩溃的局面。
2024-06-06 09:48:59 1219
原创 springboot:the request was rejected because its size exceeds the configured maximum
没怎么用springboot写过文件上传,在进行文件上传测试的时候,抛出异常提示“the request was rejected because its size (18889091) exceeds the configured maximum (10485760)”。异常提示文件上传的请求,因为超出大小限制而被拒绝,在application.properties中修改默认限制即可。用于设置整个请求(包括所有文件和表单数据)的最大大小限制。用于设置单个文件上传的最大文件大小限制,
2024-05-08 11:05:54 1460
原创 金三银四:互联网技术面的奇葩题你能破几道?
腾讯官方🤣腾讯云开发者社区重磅推出「Offer码上来」超好玩的技术面霸挑战赛!涉及前端、后端等各种技术。瓜分罗技键盘、10000元奖池。2. 曹擦在web开发中,如果他想实现一个类似:挟天子以令诸侯“的功能,控制整个应用的流程,他可能会选择哪种前端框架或技巧?1. 关羽的青龙偃月刀在web开发中,如果用来比喻一种强大的工具或技术,它最可能是?学习IT的这么多年,互联网技术面的奇葩题你能破几道?
2024-05-08 11:03:59 339
原创 02:从文生图初窥Stable Diffusion,一键玩转AI绘画
Stable Diffusion是一个什么架构呢,或者说是由哪些部分构成,各自发挥着怎么样的作用。我们就先从文生图开始探索我们在开篇讲了Stable Diffusion的优势在与latent space计算,所以U-Net model是在潜空间计算的。中间空白的部分在后面的学习过程中逐渐填补。这就是文生图中,从输入文本到Latent空间的一个流程,主要讲了clip的处理流程,同时也是conditioning的生成流程。里面的noise predictor和U-Net是本文中留下要学习的地方。
2024-04-25 11:01:36 1020
原创 大数据毕业设计之前端07:进度条和Loading页面的实现,路由导航守卫告诉你答案...
在后台管理系统或者前端页面的切换过程中,总会遇到网络波动、数据加载慢导致的页面访问慢的问题。我们在访问一些网站,遇到页面加载不出来的时候,通常显示一个进度条,或者一个loading页面的动画页面。那么,进度条和loading页面是如何实现的呢?这就是BuildAdmin中进度条和Loading页面的实现,主要是对router路由导航守卫的一个结合使用。
2024-04-25 10:56:26 1170 3
原创 05:我用stable diffusion轻松生成了CG美女
最近一边自学stable diffusion,一边写了几篇关于stable diffusion理论的文章。在不断的学习过程中,愈发觉得理论固然重要,但是实践也相当重要。对于很多自学者来说,实践比理论更重要。毕竟,学习stable diffusion的目的就是生成图片。而且stable diffusion的webui,本身就是为了屏蔽底层AI绘画生成代码的细节,让整个AICG的过程对用户透明,让用户通过调整参数使用即可。秉着边学习边实践的原则,今天就来完成写实CG风格美女图片的生成。
2024-04-22 10:02:07 879
原创 AI新闻爬虫:传统爬虫和XHR异步加密爬虫的碰撞
AI的发展日新月异,及时掌握一些AI的消息和妹子聊天时也不至于词穷(不建议和妹子聊技术)。所以这里就以36氪和虎嗅网为例,来讲一下如何爬取AI新闻消息以及数据整合。36氪和虎嗅网这两个网站新闻爬虫比较具有代表性,36氪是传统的html网页爬虫,虎嗅网是异步api加载加密的爬虫,这里就从简单的36氪讲起。这就是我使用爬虫爬取AI新闻的过程,使用了两个爬虫中比较常见的典型案例。像这种类别信息的采集,还有更优的程序设计架构。
2024-04-19 14:28:23 829
原创 04:我用stable diffusion生成了自己骑摩托的照片
那么controlNet到底是什么呢?使用controlNet提取图片的图像信息,以此来控制输出图片的内容。
2024-04-19 14:26:26 857
原创 Java解析Json再也不用定义实体类了
之前有一篇文章讲了Java的Gson、FastJson等解析json常用类,与Python的json模块比较,繁琐之处是要定义各种实体类。那么,Java中有没有自动定义实体类的方法呢?
2024-04-18 14:38:52 1043 1
原创 pyecharts:用地图map展现社区程序员的分布
如何使用python对腾讯云开发者社区各位创作者,进行一个区域和技术偏好分析。作为数据分析的课题,我们首先想到的就是,如何去收集创作者们的区域和技术偏好数据。浏览腾讯云开发者社区的数据展示设计,发现在个人主页就能收集到区域和技术偏好数据。那么我们就要考虑如何进入到个人主页。本篇文章数据分析为主、爬虫为辅,实现了对腾讯云开发者社区部分创作者的区域分布和技术偏好分析。
2024-04-11 17:09:05 1013 1
原创 大数据毕业设计的“万能公式”
很多同学都在问大数据的毕业设计如何做,如何能把大数据的毕业设计做出点东西等等,今天就主要写写大数据毕业设计如何做,以及大数据毕业的设计的难点在哪。大多数的大数据毕设,其实万变不离其宗,有一个固定的“框架”,总结起来就两部分:数据处理、数据可视化。至于数据处理、数据可视化用到的技术,需要根据题目要求“填充”到框架中。怎么说呢,如果毕业想要从事IT技术岗的,可以搞一下我上面列举的技术栈,都比较有意思。如果只是为了应付毕业设计,就看看就行。。
2024-04-08 16:03:23 1310
原创 如何使用Python绘制奥运五环
回想当初学习python的初衷,除了开发爬虫之外,更多的是因为类库的多样性和语言的简易性。可以使用少量的代码完成数据分析、人工智能、机器学习等工作。今天的课题内容是如何使用Python实现一个奥运五环。这就是使用matplotlib绘制奥运五环的基本实践。
2024-04-08 15:59:37 1070
原创 npm配置了淘宝镜像源依然下载不不动registry=https://registry.npm.taobao.org
使用npm install安装依赖时,一直卡在进度条不动,百度了一下,说是要使用淘宝镜像源进行下载。配置了之后依然下载不动,后来查了一些资料,淘宝镜像源不能使用。执行完上面命令之后,在下载element plus就成功了。的,将https改成http就好了。
2024-03-27 10:19:37 1124
原创 【AI绘画】从零开发AI绘画微信小程序
感觉已经进入全面AIGC的时代了,从刚开始的ChatGPT的生成文本,到GPT-4文本到图片的发展,深刻感受到了技术的日新月异。但是GPT-4一直是付费模式,我才开始接触stable diffusion,在自己的电脑上学习AI绘画。AI绘画的文生图还没研究透彻呢,文生视频sora又来了。对于我来说,学习的速度远远追不上技术的发展,所以索性就沉下心来,深入地学习一下AI绘画。如今阿里云、腾讯云等很多厂商,都提供了AI绘画地服务能力。
2024-03-27 10:17:15 2104
原创 webpack中import导入vue组件报错Cannot find module ‘@/views/xxx.vue’”
起始路径一定要是字符串,即@/,文件后缀也要是字符串,通过扩展名来识别文件类型,这样Typescript才能解析。在前后端分离架构中,vue组件模块路径通常通过api来获取,然后在vue中加载,这里路径就是一个变量。webapck中用于引入component的import的参数,是不支持 完全使用变量 的。,也就是必须有字符串。
2024-03-11 10:59:23 912 3
原创 金三银四面试:通过汇编指令,学习Java内存模型(JMM)
全文3000字+,从汇编的角度解读volatile,学习Java内存模型的可见性、有序性和原子性,通俗易懂
2024-03-11 10:35:55 942
原创 探究Java中常见的HTTP工具库
平时做爬虫比较多,我的第一个爬虫,就是用Java的jsoup写的。爬虫说白了就是对各种网页进行请求,而发起请求就需要用到HTTP的工具库。今天就来枚举一下Java中常用的各种工具库,从代码层面分析它们的优点和缺点。上面就是我日常开发中遇到过的Http的工具库。从上面看,每种HTTP库都有自己的优势和劣势。开发者可以根据项目的具体需求来选择合适的HTTP库。对于初学者来说,可以使用HttpURLConnection进行学习,了解HTTP的请求响应其实就是I/O操作。
2024-03-08 17:51:59 1308
原创 探究Java的Json库之后,我才明白爬虫要用python
在热衷于开发爬虫的日子,我一般都是使用Python。但是我第一个自学的语言是Java,工作也是和Java紧密联系。难道是Java不能写爬虫吗,相反我第一个爬虫程序就是使用Java开发的。至于为什么投入Python的怀抱,今天写完这篇对于Java中各种常见JSON库的使用,可能就知道其中答案了。然后就是根据json的层级创建实体类,。首先定义data中的list代表的实体类。
2024-03-06 11:17:23 478
原创 自学Spark,又是Hello World?
在18年初刚开始接触学习spark的时候,买了一本《Spark大数据处理技术》的书,虽然后来一些Spark开发的知识都是从官网和实践中得来的,但是这本书对我来说是启蒙和领路的作用。还记得这本书编程的开篇就是Spark程序”Hello World“!果然,这辈子是摆脱不了”Hello World“了。本篇文章主要利用wordcount的小案例,带大家认识了一下Spark,内容比较浅显,后续会更加深入,期待与大家共同学习。
2024-03-05 11:08:06 923
原创 大数据毕业设计之前端05:Vue中如何加载本地svg图标
上篇文章主要讲了图标组件Icon的实现,主要包括了两种常用的图标。今天就讲一下如何在Icon中加载本地的svg图标。开篇还是将Icon实现结构图放出来,今天只看svg这条支线。在components/icon/svg目录下,实现了一个svg的component,定义html原生的svg标签。下的中的href属性,需要指定的是svg图标的名字,而绑定的iconName,可以看到是引用的是props.name,即是通过父组件传过来的name属性。
2024-03-04 10:47:18 1427
原创 自学go,也摆脱不了CRUD的日子
对于外部数据库的依赖,是每种高级编程语言绕不开的话题。像Java的JDBC、Python的pymysql,都为连接数据提供了良好的解决方案。初学go,当然也要去了解一下go是如何对MySQL的连接进行封装的。作为一名go的初学者,从Java的JDBC的角度来学习go更容易上手。同时在学习go连接MySQL的过程中,又认识了defer关键字,就这样吧。
2024-03-04 10:20:52 881
原创 大数据毕业设计之前端04:管理系统为什么要自己实现图标组件
说到图标,在BuildAdmin中用到的地方很多。比如上一篇中的折叠图标,还有菜单栏图标、导航菜单栏图标等。常见的图标有:ElementUI图标、font-awesome、iconfont阿里图标以及本地svg这四类图标。在使用四种不同的图标时,使用的标签都是不一样的,所以定义一个统一的组件,使用一个标签就能包含四类图标是非常有必要的。当然,这只是其中的一个原因,至于其他原因可以接着看下文。这里先放出架构图,可以看完整篇文章之后再回来看。使用。
2024-03-01 17:24:37 1191
原创 go语言实现的圣诞树的几个姿势
如何用go语言画一个圣诞树,To me,当然是从安装go的SDK开始…去go官网下载对应的jdk。我的操作系统是Mac,这里我先则macOS的归档版下载。下载完之后解压,然后就是集成到我的IDEA中去,这用我临时抱佛脚学的go实现的圣诞树,虽然略显粗糙。。
2024-03-01 17:11:31 900
BerkerleyDb-18.1.40.tar.gz
2020-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人