- 博客(78)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【RocketMQ】Console页面报错：rocketmq remote exception，connect to xxx failed.
console报错，无法连接该节点，经排查，该节点为slave，把该节点杀掉，还是继续报错，重启之后，报错的端口变成11911。
2023-12-25 16:02:36
590
原创 【Kafka】Kafka客户端认证失败：Cluster authorization failed.
1. kafka客户端是公司内部基于spring-kafka封装的2. spring-boot版本：3.x3. spring-kafka版本：2.1.11.RELEASE4. 集群认证方式：SASL_PLAINTEXT/SCRAM-SHA-5125. 经过多年的经验，以及实际验证，配置是没问题的，但是业务方反馈用相同的问题，还是报错！
2023-12-25 15:42:14
1824
原创 【AIGC】如何在使用stable-diffusion-webui生成图片时看到完整请求参数
通过代码调用Stable Diffusion的txt2img、img2img接口时，很多时候都不知道应该怎么传参，比如如何指定模型、如何开启并使用Controlnet、如何开启面部修复等等，在sd-webui上F12看到的请求也不是正式调用SD的请求，所以当引入新插件或需要使用新功能时，怎么传参成了一个大问题，网上关于接口传参的资料也很少，接下来就介绍一下，如何在每次通过sd-webui点击生成图片时，获取到完整的请求参数。
2023-10-09 15:20:27
1521
原创 【Java】将Base64格式的图片等比/非等比伸缩至目标尺寸代码实现
# 需求前端页面上传的图片是Base64字符串，需要根据目标尺寸进行伸缩，不能改变图片的比例
2023-09-27 19:45:09
458
原创 【LLM】Windows10环境部署阿里通义千问大模型(Qwen-14B-Chat-Int4)
系统版本：Windows 10 企业版版本号：20H2系统类型：64 位操作系统, 基于 x64 的处理器处理器：Intel(R) Core(TM) i7-13700K CPU @ 3.40GHz 机带 RAM：32.0 GB显卡：NVIDIA RTX 4080（16G）Python版本：3.10.11
2023-09-27 18:10:17
3087
4
原创 【Redis】记录一次K8S存储故障导致Redis集群拓扑异常的修复过程
集群部署在K8S环境内，存储使用的localpv，有一台K8S主机节点磁盘故障，导致在该节点上的redis节点均出现故障，主要表现为持久化失败、集群拓扑异常，持久化失败可以临时关闭RDB和AOF持久化、等挂载好新的硬盘后，重新创建pvc进行恢复，经过观察，这些redis节点恢复后，operator并不能完成集群自愈，需要手动干预，主要表现为：集群拓扑异常：故障的节点没有被清理掉、新的节点没有以正常的角色加入到集群中。
2023-09-25 14:25:46
449
原创 【Java】使用Apache POI识别PPT中的图片和文字，以及对应的大小、坐标、颜色、字体等
本文介绍如何使用Apache POI识别PPT中的图片和文字，获取图片的数据、大小、尺寸、坐标，以及获取文字的字体、大小、颜色、坐标
2023-08-17 09:14:28
2070
6
原创 【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传
需要批量下载一个bucket下的内容，bucket下文件有19GB+，且文件夹结构复杂，使用官方的Console无法完成这么大量文件的下载，而且也不支持文件夹的分享，所以自己写个工具下载，顺便把上传的也写了。
2023-07-21 15:02:00
4145
原创 【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复
milvus：v2.2.4go：1.20.2 darwin/amd64milvus-backup：v0.2.2
2023-07-21 14:56:56
1304
9
原创 【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解
pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一种可能的方法是，根据不同的指令类型设置不同的pre_seq_len值，例如，对于简单的指令，如“生成一个笑话”，可以设置pre_seq_len为4；不完全是的，pre_seq_len和max_source_length的含义是不同的，但是它们之间有一定的关系。因此，需要根据具体的任务和数据集来调整这个参数，以达到最佳的效果。
2023-06-09 11:52:09
7297
17
原创 【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题
系统版本：Windows 10 企业版版本号：20H2系统类型：64 位操作系统, 基于 x64 的处理器处理器：Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19 GHz机带 RAM：16.0 GB显卡：NVIDIA RTX 2070（8G）Python版本：3.10.11
2023-06-09 11:43:09
4395
原创 【SpringBoot】SpringBoot 纯后端项目如何自定义异常页面(Whitelabel Error Page)
一个纯后端项目，针对不同错误，可以跳转到不同的页面。
2023-05-18 19:19:09
1787
原创 【Kafka】SASL认证的Kafka客户端代码示例(spring-kafka和原生客户端)
最近需要写个小demo测试做测试，整合spring时遇到个配置不知道怎么配，查了一下资料，大部分写的敷衍了事，驴唇不对马嘴，一怒之下，自己写一篇，记录一下，方便以后查看。
2023-04-17 18:28:03
1292
原创 【RocketMQ】RocketMQ 5.1.0版本Proxy集群模式部署实践
为了支持长远的云原生发展，RocketMQ引入了一个全新的模块：Proxy，官方对RocketMQ客户端提供了独立的开源项目：https://github.com/apache/rocketmq-clients，如果要使用这个新的客户端，必须要使用Proxy作为endpoint。
2023-03-28 16:02:31
6303
2
原创 【RocketMQ】基于RocketMQ 5.1.0版本的自动故障恢复集群实践（Controller内嵌方式）
搭建一个3主3从的集群，RocketMQ版本为5.1.0；采用交叉部署（避免两台机器互为主从），节省机器资源；3个nameserver、1个exporter、1个dashboard；支持自动故障恢复，controller采用内嵌在nameserver中的方式部署；异步刷盘；主从切换时，不能丢消息
2023-03-23 19:58:05
1222
原创 【RocketMQ】基于 RocketMQ 5.1.0 版本的定时消息实践
基于5.1.0版本，做定时消息的功能测试和简单的性能测试，也有一些有用的Tips
2023-03-23 19:23:07
1989
6
原创 【Kafka】MM2同步Kafka集群时如何自定义复制策略(ReplicationPolicy)
使用MM2同步集群数据，默认的复制策略为：DefaultReplicationPolicy，这个策略会把同步至目标集群的topic都加上一个源集群别名的前缀，比如源集群别名为A，topic为：bi-log，该topic同步到目标集群后会变成：A.bi-log，为啥这么做呢，就是为了避免双向同步的场景出现死循环。官方也给出了解释：这是 MirrorMaker 2.0 中的默认行为，以避免在复杂的镜像拓扑中重写数据。 需要在复制流设计和主题管理方面小心自定义此项，以避免数据丢失。
2023-03-10 20:14:14
1928
3
原创 【Kubernetes】K8S内Java应用如何开启远程JMX端口
Djava.rmi.server.hostname需要获取Pod的真实IP，也可以通过环境变量的方式添加。获取真实IP是根据k8s集群内的运行时状态得到的，不同的k8s集群配置，可能获取方式不一样。重新build镜像，并更新至Deployment中，在本地就可以进行可视化调试了。修改Dockerfile，读取对应的环境变量。
2023-03-10 20:07:17
843
原创 【Kafka】记录一次基于connect-mirror-maker做的Kafka集群迁移完整过程
一个测试环境的kafka集群，Topic有360+，Partition有2000+，部署在虚拟机上，由于多方面原因，要求迁移至k8s容器内（全量迁移），正好可以拿来练一下手。本文主要记录对MM1和MM2的实际操作过程，以及使用过程中遇到的问题及解决方案。
2023-03-10 20:05:10
3347
3
原创 【RocketMQ】RocketMQ 5.0版本任意时刻延迟消息的实现原理浅析
RocketMQ对任意时刻延迟消息的支持，是基于主流的方案——时间轮做的，使用需要升级至5.X版本，客户端也需要使用最新的rocketmq-client-java
2023-02-28 17:30:00
2775
9
原创 【Kubernetes】记录一次K8S容器内程序OOM排查过程：unable to create new native thread
项目背景：基于k8s的容器化kafka PaaS管理平台，业务团队申请kafka，通过一系列操作，封装crd，调用operator创建集群，当然还包括其他功能、topic管理、group管理、监控告警、集群扩容、分区管理等等。后台会对每个集群启动定时任务，扫描kafka的元数据变化，主要是使用zk客户端Curator。
2023-02-03 20:04:11
1542
原创 【Python】使用Python完成AES加解密（AES_CBC + PKCS5Padding）
使用Python完成AES加解密，并对结果进行Base64编码
2023-02-03 19:17:17
2517
原创 【RocketMQ】如何快速检查RocketMQ集群延迟情况
checkMsgSendRT是以生产者的角度，检查发送消息的延迟情况，而clusterRT更关注的是集群中每组主从节点的延迟情况，后面可以根据每个命令的参数来做了解。
2022-11-08 14:05:58
2092
原创 【Java】记录一次使用 Springboot + Liquibase 做数据库的变更同步、回滚
本次项目中Liquibase主要用来做以下工作：1. 基于开发环境数据库，同步数据表结构至测试环境和线上环境2. 数据库变更同步、回滚官方地址：https://docs.liquibase.com/home.html
2022-11-04 11:43:41
2373
原创 【Redis】K8S内基于Prometheus的Redis告警规则整理
数据发送到接口后，可以直接用JSON或者Map解析，再根据数据获取指定的标签作为告警信息，也可根据告警级别，选择不同的告警方式。
2022-11-03 19:27:50
1227
原创 【Java】给定执行周期和首次执行时间，生成Cron表达式工具类
页面通过配置执行周期和初次执行时间，后台根据这两个参数，生成对应的Cron表达式，定期生成执行任务的Task，当然，这里也可以直接使用Cron表达式插件，但是对使用者有一定的理解成本。
2022-10-24 15:21:53
2055
3
原创 【Redis】基于Redis6的数据类型以及相关命令、应用场景整理
本文基于Redis 6 整理，涵盖了所有数据类型的介绍、常用命令介绍、以及使用场景介绍。
2022-08-30 17:58:00
740
原创 【Python】记录一次 Linux + Python + RocketMQ 辛酸历程
这是记录一次辛酸的Linux + Python + RocketMQ使用历程，需求背景是需要验证线上一个RocketMQ服务和里面的Topic，如果使用Java，还得打包，上传，太麻烦，使用脚本语言会方便很多，遇到的问题比较多，但是又不想省略其中的过程，就全记录下来了。
2022-08-19 19:48:00
932
1
原创 【Kubernetes】记录一次基于ucloud/redis-cluster-operator的可行性测试
该集群使用了calico vxlan网络模式，每个node上面都有calicoctlo工具，可用于管理网络配置；master节点没有设置污点，所以master节点也可以分配pod；集群中redis集群使用的ip池数量改为256，模拟ip池紧张的情况。.........
2022-07-08 18:12:37
631
原创 【Kubernetes】使用kube-prometheus-stack快速在k8s内搭建Prometheus全家桶
最近因为需要做一些redis-cluster-operator的故障演练，新搭建了一个k8s集群，新的k8s集群需要搭建一套监控告警系统，对于Prometheus，之前自己在虚拟机上练过手，比较麻烦，需要先后安装Prometheus、Grafana、AlertManager，还需要修改各种配置，今天一想，现在都2202年了，肯定有更简单的方法，于是在社区找到了kube-prometheus-stack......
2022-06-14 19:12:21
2168
原创 【Redis】Redis7新特性测试：通过主机名暴露集群节点信息
文章目录准备工作集群部署编译修改配置文件启动创建集群自公司中间件逐渐容器化之后，太过依赖K8S，以至于快忘了怎么手动搭建一个集群，本文主要记录一下手动搭建一个3主3从集群的过程（3个master，每个master一个副本），redis版本为目前最新的redis7.0.0，顺便测试下redis7的新特性：Cluster: Support for hostnames, instead of IP addresses only准备工作准备三台虚拟机，每台机器上启动两个实例，总共6个实例：ipho
2022-05-10 16:51:53
1169
原创 【Redis】Redis7.0新特性汇总（详细）
文章目录Redis 7.0 RC1新特性Redis命令变化用户相关管理相关命令返回值变化值得注意的变更改进与优化安全性性能和资源利用率平台/工具链支持相关其他ACL工具变化配置项变更INFO字段和自检命令变化Redis 7.0 RC1Redis 7.0包含一系列面向用户的新特性、显著的性能提升和诸多其他改进、也包含一些对旧版本向后兼容性存在潜在破坏的改变，我们强烈建议用户在升级之前认真检阅发行笔记，用户需要特别关心的有以下几点：Redis 7将以在一个文件夹下、多个文件的方式存储AOF文件；Red
2022-04-26 18:02:43
17992
原创 【Redis】K8S内Redis集群高可用之Pod反亲和告警规则整理
文章目录背景Master与Slave反亲和Master间反亲和效果图背景首先说一下亲和性和反亲和性：亲和性可以实现就近部署，增强网络能力实现通信上的就近路由，减少网络的损耗反亲和性主要是出于高可靠性考虑，尽量分散实例，某个节点故障的时候，对应用的影响只是N分之一或者只是一个实例由于Redis集群的分片机制以及failover机制，需要保证在部署时，保证节点尽量分散，即满足反亲和，这样才能保证当k8s集群中有节点故障时，不至于导致redis集群不可用。所以，做节点的反亲和是非常必要的，我
2021-12-13 17:43:26
1768
原创 【GoLang】记录一次Go项目中各类Count(点赞数、评论数、浏览数等)缓存方案
文章目录背景方案key设计同步机制流程图写缓存定时任务读缓存代码实现相关约定写缓存定时任务读缓存背景noi项目中，涉及多个模型（数据表）的多种计数（count值），目前主要包含：习题：题解数、提交数、通过数评论：点赞数、回复数题解：浏览数、点赞数、评论数用户在使用过程中，会频繁地操作这些计数，比如：点赞、取消点赞、评论、回复、写题解、做题等等，包括读取、写入，写入主要包含递增和递减，如果每次操作都等主业务流程结束后，同步去修改数据库，一是会影响性能，二是会增加数据库锁竞争的开销，所以，将这些
2021-12-10 19:31:45
2776
6
原创 【GoLang】记录在Go中使用robfig/cron来做定时任务
依赖官方文档注意引用的时候需要像下面这样，加上版本和标签，否则会报404 Not Foundgo get github.com/robfig/cron/[email protected]简单使用package mainimport ( "fmt" "github.com/robfig/cron/v3")func main() { c := newWithSeconds() spec := "*/5 * * * * ?" _, e := c.AddFunc(spec, func() { f
2021-12-06 16:52:57
1719
3
原创 【GoLang】记录一次使用Go实现微信小程序一键登录操作
文章目录需求实现整体流程微信登陆流程Go后端实现code2sessionAES解密接口部分需求PC端一个B/S应用，登陆时支持微信扫码登陆，微信扫码后，会跳转到一个小程序，通过该小程序进行授权登陆，用小程序的原因是只有小程序能获取到用户的手机号，效果如下实现整体流程首先页面需要生成一个二维码：后端需要提供一个唯一的code，使用uuid即可，然后再拼接为小程序页面的url，二维码由前端根据url生成即可将code存入缓存，设置状态为：1-初始状态前端不断扫描该code的状态，用以更新二维
2021-11-30 16:38:58
6492
3
原创 【GoLang】《GORM实战》第三篇：关联与预加载
文章目录关联分类重写外键、引用多态关联外键约束关联操作自动添加关联关联模式查询关联添加关联替换关联删除关联级联删除清空关联关联计数批量处理数据预加载Preload带条件的预加载预加载全部自定义预加载 SQL嵌套预加载Joins预加载关联分类belongs to：会与另一个模型建立了一对一的连接。 这种模型的每一个实例都“属于”另一个模型的一个实例。比如：一个学员属于一个门派has one：与另一个模型建立一对一的关联，但它和一对一关系有些许不同。 这种关联表明一个模型的每个实例都包含或拥有另一个模
2021-11-23 15:51:45
3368
原创 【GoLang】《GORM实战》第二篇：CRUD之路
文章目录创建创建记录默认值扩展创建选项钩子方法Upsert 及冲突查询一般查询Where 条件普通SQL查询Struct & Map查询Not 条件Or条件内联条件额外查询选项FirstOrInitAttrsAssignFirstOrCreateAttrsAssign高级查询子查询选择字段排序数量偏移总数Group & Having连接Pluck扫描Scopes更新更新所有字段更新修改字段更新选定字段无Hooks更新批量更新使用SQL表达式更新修改Hooks中的值其它更新选项删除删除记录批量
2021-11-23 15:49:08
1749
原创 【GoLang】《GORM实战》第一篇：初识GORM框架
文章目录概述特性安装连接到数据库数据库配置自定义驱动现有的数据库连接连接池快速入门模型gorm.Model模型定义嵌入结构体字段级权限控制时间追踪结构体标签字段标签关联标签示例约定主键表名列名时间戳跟踪CreatedAtUpdatedAtDeletedAtGorm方法分类链式方法Finisher Method新建会话模式概述The fantastic ORM library for Golang aims to be developer friendly.一个致力于开发者友好、极好的Golang OR
2021-11-23 15:44:18
3866
MM2自定义复制策略相关jar文件.zip
2023-12-21
connect-mirror-client-2.6.0.jar
2023-12-21
connect-mirror-2.6.0.jar
2023-12-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人