- 博客(213)
- 资源 (8)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 爬虫,关于 video 标签 src 带有blob:http的 一些想法
大家好,我是烤鸭: 之前玩爬虫的时候,看到过video标签中src属性引入的blob:http:xxxx,当时没找到解决思路,今天又遇到类似问题,就试着找了一下。这是有人问过https://vimeo.com/这个网站的视频怎么下载。 https://superuser.com/questions/1033563/how-to-download-video-with-...
2018-09-14 17:56:49
66999
40
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 idea 错误: 找不到或无法加载主类(汇总贴)
大家好,我是烤鸭: 现在是采坑实录。idea 错误: 找不到或无法加载主类 xxx.xxx.xxxxxJDK环境,maven项目还是ee还是web项目,是否都正常。如果是用idea打开的话,在源码目录上点击右键,然后找到Mark directory as->source root看这篇:(真的是主类没找到) http://www.cnblogs.co...
2018-09-05 10:26:03
46788
17
原创 揭秘视频音画质量的神秘面纱:探索几种独到的分析方式
我是烤鸭。今年是AI元年,最近sora更是火的不行。正好最近在搞视频质量分析,寻思写篇文章。毕竟sora生成的视频还需要评判标准,我要写的是关于视频质量分析的方式,主要分为有参考的客观打分和无参考的客观打分。
2024-03-05 08:15:00
1336
原创 Copilot:编程助手,你真的需要它吗?使用体验对比分享
最近ai火的狠,想聊聊代码里的copliot,最近几个月也使用了几款不同的copliot。
2024-02-19 08:15:00
4810
3
原创 chatgpt驱动的视频卡顿分析.md
最近在尝试做视频卡顿分析,对python不是特别了解。以前也没感觉GPT有能好用,这次用了一下,真的是有点牛了,起码可以节省半天的工作量。使用的是百度AI-文心一言,感觉还是比较好用的。
2024-02-01 08:15:00
406
原创 redis命令大量超时 连接数突增
这篇文章拖了3周没写出来,最后虽然给出了一个分析,但还是感觉不够说服力。毕竟出了问题、第一时间是解决问题,解决之后只能依靠历史的数据进行复盘、分析。一开始大家都说是由于redis内存刷到报警、内存碎片产生导致的,其实应该没啥关系。由于是老项目,在框架使用上需要注意,可能用了很久的框架,不知道在一些场景上的性能怎么样。比如像这次大量刷入缓存,导致内存急速上、后来停刷之后的大量过期的场景并没有实际运行过。
2023-02-13 08:15:00
1849
2
原创 对技术类的管理和绩效的一些想法
我是烤鸭。看完春晚小品的心情(除了神马组合),就跟下面这哥们一样,尬的抠脚。再加上初一跟家人出去一趟,消费是真的复苏了,哪哪都排队。本来还想去洗温泉,给商家打电话一直占线...就能想象有多少人了。最近这几天就好好在家休息休息,再抽空写篇文章复盘下,对技术类管理和绩效的一些想法。
2023-01-28 08:15:00
1265
3
原创 易盾sdk引起项目的整体耗时问题?
大家好,我是烤鸭。今年年初的时候,项目接入易盾sdk之后,随着接口调用次数增多(用到易盾sdk的接口),项目整体性能变差。写篇文章做个复盘记录,其实同事已经写过了,我借鉴部分再拓展一些。
2023-01-19 08:15:00
1854
原创 rocketmq报错的问题排查和记录 RemotingTooMuchRequestException
连续3天同一时间遇到rocketmq不可用。第一天持续1分钟,第二天持续10分钟,第三天持续40分钟。线上版本使用的4.9.2,以下源码均看的这个版本。
2023-01-16 08:15:00
4613
原创 2022 年终总结
大家好,我是烤鸭。又到了年终总结的时候了,今年是沉闷又兴奋的一年,外边卷着XX浪潮和互联网XX的声音,内心又是矛盾的继续北漂还是回家。XX是审核不让说的词。
2023-01-02 16:25:46
155
原创 再写java探针
以前写过一篇全链路探针实现的文章,最近同事间搞技术分享,再整理一篇。可惜这两年没有继续搞这方面的技术,算是两年前的拓展篇吧。很多技术只放了图,文字就不写了,可以参考下边的拓展阅读。
2022-12-22 08:15:00
634
原创 容器环境 springcloud gateway grafana prometheus采集集成与问题
大家好,我是烤鸭:记录下网关上容器后,监控升级的过程。
2022-11-07 08:15:00
1191
原创 Is the byte array a result of corresponding serialization for DefaultDeserializer
问题记录,上线之后懵逼的问题。只能回滚?每次都是上线来暴击,不然多查查文章也不至于这么被动。
2022-10-12 07:45:00
1652
原创 windows docker mongodb
大家好,我是烤鸭: 今天翻博客,发现4年前的一篇草稿,抽空给完善下。原本草稿写的是linux下mongo使用,还有java的一些api,现在就用容器实现下。
2022-06-03 00:09:34
507
1
原创 研发效能提升 maven依赖扫描 版本统一 漏洞版本提醒
大家好,我是烤鸭: 整点干货,代码级别的版本统一,以及漏洞版本的扫描。背景两个方面吧。项目整体的架构不统一,springboot/cloud 配置/注册中心也用的不统一,版本更是五花八门,怎么快速的找到问题,给出合理建议。去年年底的时候都被log4j搞过,漏洞安全也被提到第一线,快读定位漏洞版本。思路先画一个功能大点的业务流程图,再从具体某一个点详细说下架构统一:制定规则,比如 都用springboot+cloud ,配置/注册中心 都用n
2022-05-19 08:30:00
944
原创 nacos 返回 403 unknown user 太他么坑了 源码解析
大家好,我是烤鸭: nacos 真的是有点意思,有时候哪怕某个jar包版本冲突了都可能导致莫名其妙的错误,源码走一波吧。当前版本<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-dependencies</art
2022-05-14 19:45:00
19295
6
原创 《深入理解Java虚拟机》-读书笔记(第一、第二部分)
大家好,我是烤鸭:关于《深入理解Java虚拟机》,记录一下读书笔记。深入理解Java虚拟机
2022-05-08 15:23:30
373
原创 rabbitmq 启动失败 dump日志分析
大家好,我是烤鸭: rabiitmq 突然宕机,并且无法启动。同事反馈测试环境 rabbitmq 有一个节点突然掉了,并且无法启动。现象集群有一个节点宕机。去对应的机器上执行启动命令./rabbitmq-server -detached发现进程不在,查找日志find / -name *.log|grep rabbitmqfind / -name erl_crash.dump发现dump日志,进行dump日志分析,分析脚本下载wgethttps://github
2022-05-02 21:48:22
2935
2
原创 长连接检测 监控的一点思考 java实现
大家好,我是烤鸭: 怎么监控长链接服务器的稳定,除了探活服务之外,怎么保证长链接的收发正常,这篇文章考虑下这个。问题来源运营反馈部分直播间无法收到弹幕、点赞消息,第一时间进行复现,发现切换网络可以,但是不是所有人都可以。怀疑是长连接服务器出问题了,重启后问题消失。怎么监控呢,消息是否丢失?用户是否收到?长链接实现先谈谈实现方式,我们是基于nchan做的,之前也写过一篇文章。https://blog.csdn.net/Angry_Mills/article/d
2022-04-24 20:18:11
646
原创 skywalking 引起 spring-cloud-gateway 的内存溢出 skywalking的bug
大家好,我是烤鸭: 又是个线上问题记录,这次坑惨了,开源软件也不是万能的,还是要做好压测和灰度。问题上游反馈大量超时,不止某一个服务,查看服务没有问题,猜测是网络或者环境问题。想到网关接入了skywaling(已接入24小时),回滚后问题消失。堆内存在某个时间点后上升且无法回收。Full GC 时间变得特别长…这个就是上游超时的原因环境cloud版本<groupId>org.springframework.cloud</groupId
2022-04-16 18:48:58
3702
原创 上线到凌晨4点半 pagehelper的bug?
大家好,我是烤鸭: 上上周末上线到凌晨4点半,哭了,没想到问题竟然如此简单。最近又懒惰了,写了开头就一直放着了,今天终于补上。 问题日志Error querying database. Cause: com.github.pagehelper.PageException: 被分页的语句已经包含了Top,不能再通过分页插件进行分页查询!奇怪的是报错的语句并没有使用分页插件,只是一个简单的查询。原因猜想遇到问题第一时间回滚之后就好了,说明问题
2022-04-05 20:47:52
1590
原创 自研redis sdk支持自动dns切换(附源码)
之前做活动的时候,用域名链接的redis,当时做了主备集群,在主集群宕机的时候,不能自动链接到备用集群...
2022-03-11 20:41:10
4214
3
原创 某音数据分析
大家好,我是烤鸭: 某音竟然有pc版了,不过搜索的数据有限,会限制条数,亲测只能搜索400条数据,简单分析下过程。工具使用java + chromedriver + fiddlerjava + selenium 自动化网页,需要登录,可以登录一次共享cookie@Testpublic void testXyin() { String keyWord = "旅游"; try { // 调用chrome driver System
2022-03-02 20:45:06
767
原创 windows docker redis 集群部署
大家好,我是烤鸭: 上次分享了windows docker redis,这么快就不够用了,单机的不行,整个集群的,看了网上的教程都好麻烦,简单点。单机的:https://blog.csdn.net/Angry_Mills/article/details/122832374下载redis镜像参考单机的:docker pull redis本地目录和配置文件启动挂载的目录建目录和配置文件,比如打算部署3主节点的集群redis.conf,端口写是对应的目录 6001 - 6003po
2022-02-25 19:35:24
2737
1
原创 《redis 设计与实现》读书笔记
大家好,我是烤鸭: 《redis 设计与实现》,读书笔记。第一部分 数据结构与对象第2章 简单动态字符串Redis 使用SDS 作为字符串表示。O(1) 复杂度获取字符串长度。杜绝缓冲区溢出。减少修改字符串长度时所需的内存重分配次数。二进制安全。兼容部分C字符串函数。第3章 链表每个链表节点由一个listNode结构标识,每个节点都有一个指向前置接点和后置节点的指针,实现是双端链表。每个链表用list结构标识,结构带有表头节点指针、表尾节
2022-02-22 06:58:16
392
原创 模拟微信自动化发送(微信公众号文章自动点击)
大家好,我是烤鸭: 最近在搞数据抓取,发现之前的方式不太行了,分享个新方式,仅技术分享。需要的工具Java(jdk1.8)FiddlerPython(3.8)抓取列表信息设置一下过滤域名,*.weixin.qq.com;点公众号列表,获取到的列表地址:https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzA3NTAyNDcxNw==&f=json&o
2022-02-19 06:22:31
2458
原创 windows docker redis
大家好,我是烤鸭: docker真的太方便了,尤其是对windows系统,友好的不得了。以前还只能是正版的专业版才能用,现在已经没有限制了,虽然加了收费,个人用免费就够了。redis 新版也不支持windows系统,想搞测试的话docker正好补缺。docker安装官网下载安装,再注册个账号(非必须)。https://www.docker.com/products/docker-desktop安装完这样,关于一些报错,百度下就行。redis 镜像
2022-02-09 08:15:00
2182
2
原创 《实现领域驱动设计》读书笔记
大家好,我是烤鸭: 《实现领域驱动设计》,读书笔记,贴个封面,要不不知道是哪本。了解概念刚开始接触DDD,肯定懵逼,很多名词,一点点看下。领域:带有业务属性的范围,比如搞直播业务,那直播就是一个领域。领域里又分核心域和子域。可以看个电商系统的领域图。限界上下文:用于承接不同子域。上下文映射图:限界上下文关系图。六边形架构:又称端口适配器,水平的分层架构,牺牲一部分性能,更好的防止逻辑层外漏。CQRS:Command Query Respon
2022-02-04 10:03:42
687
原创 windows10 C盘清理
大家好,我是烤鸭: 身为一个号称修电脑的,磁盘清理是必备技能了。前几天刚出的新闻 男子帮女友清理电脑C盘,扫出17万个文件。想必大家都经历过清理C盘的痛苦,这两天正好又清了,分享下。先给个结论,多次满载过的C盘,100G 释放了7G,这次主要靠三方软件和更改了企业微信和QQ的目录。自带程序C盘右键——> 属性——>磁盘清理(还可以点击清理系统文件)windows 设置——> 系统——>存储,重点看一下文档、下载、图片这些,
2022-02-02 20:50:42
1777
原创 nacos注册中心自动上下负载
大家好,我是烤鸭: 还有2天就过年了,祝大家新年快乐。最近好久没写技术文章了,还是得回归下主业,今天分享下nacos注册中心自动上下负载的方式和组件。组件版本 <properties> <java.version>1.8</java.version> <springboot.version>2.2.6.RELEASE</springboot.version> <spring
2022-01-29 16:39:53
1026
原创 记一次线上服务假死排查过程
大家好,我是烤鸭: 最近线上问题有点多啊,分享一个服务假死的排查过程。问题描述9点10分,收到进程无响应报警(一共6台机器,有1台出现),后来又有1台出现。排查思路首先确认是否误报或者网络抖动,登陆服务器查看进程存在。查看cat监控,发现gc次数和gc耗时都升高,基本确认是oom导致的。当时由于优先处理问题,服务重启后,没办法找到oom源头了(进程命令包含oom记录,但是没生成oom日志)。-XX:+HeapDumpOnOutOfM
2022-01-12 08:15:00
651
原创 记一次线上cpu飙升100%的排查过程
大家好,我是烤鸭: 最近没怎么写技术文章,还是得回归下初心,正好前几天出现个线上问题,记录下排查过程。问题描述某个时间点,接收到接口响应慢报警。过一会收到服务器cpu可用率低(<10%)报警。去cat上查看发现younggc次数频繁。排查思路业务代码近期没改动和发版,出现问题大概率是中间件或者环境问题(服务器硬件或网络)。尝试回滚代码和扩容机器。输出堆栈日志和gc快照,调整jvm参数。排查结果中间件和网络:使用到的中间件包
2022-01-10 08:15:00
618
ta-lib依赖,windows-64位
2023-12-07
springboot 2.x websocket整合
2018-11-13
jqweui的picker插件动态加载数据
2017-12-22
JAVA实现类似美团电影价格图片数识别
2017-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人