浩瀚宇宙的一粒尘埃

最近在使用ColossalAI项目，目前提交了两次PR，已合并到官方main分支，简单说明一下提交PR流程

目的：掌握训练手段，使用2000+QA数据集，对llama3-8B做SFT，使模型能完全按数据集中的问题进行回答，保证准确性。本文记录了全部过程和训练过程中遇到的所有问题。

本文介绍了使用ColossalAI对Llama2-7B-Chat做SFT的全部过程，包括原始数据集的格式、数据集预处理、训练等等。

1. 用户业务需求，需要开启生产者的幂等性，生产者加了配置：enable.idempotence = true2. 用户使用的集群开启了ACL认证：SASL_PLAINTEXT/SCRAM-SHA-5123. 用户生产消息时报错：org.apache.kafka.common.errors.ClusterAuthorizationException: Cluster authorization failed.

用户反馈消费者出现消息积压，并且通过日志看，一直重复消费，且没有报错日志。

业务团队反馈使用我提供的RocketMQ集群，上游生产的消息，部分消息，消费程序需要等1分钟，甚至几分钟后，才能收到。

console报错，无法连接该节点，经排查，该节点为slave，把该节点杀掉，还是继续报错，重启之后，报错的端口变成11911。

1. kafka客户端是公司内部基于spring-kafka封装的2. spring-boot版本：3.x3. spring-kafka版本：2.1.11.RELEASE4. 集群认证方式：SASL_PLAINTEXT/SCRAM-SHA-5125. 经过多年的经验，以及实际验证，配置是没问题的，但是业务方反馈用相同的问题，还是报错！

通过代码调用Stable Diffusion的txt2img、img2img接口时，很多时候都不知道应该怎么传参，比如如何指定模型、如何开启并使用Controlnet、如何开启面部修复等等，在sd-webui上F12看到的请求也不是正式调用SD的请求，所以当引入新插件或需要使用新功能时，怎么传参成了一个大问题，网上关于接口传参的资料也很少，接下来就介绍一下，如何在每次通过sd-webui点击生成图片时，获取到完整的请求参数。

# 需求前端页面上传的图片是Base64字符串，需要根据目标尺寸进行伸缩，不能改变图片的比例

集群部署在K8S环境内，存储使用的localpv，有一台K8S主机节点磁盘故障，导致在该节点上的redis节点均出现故障，主要表现为持久化失败、集群拓扑异常，持久化失败可以临时关闭RDB和AOF持久化、等挂载好新的硬盘后，重新创建pvc进行恢复，经过观察，这些redis节点恢复后，operator并不能完成集群自愈，需要手动干预，主要表现为：集群拓扑异常：故障的节点没有被清理掉、新的节点没有以正常的角色加入到集群中。

本文介绍如何使用Apache POI识别PPT中的图片和文字，获取图片的数据、大小、尺寸、坐标，以及获取文字的字体、大小、颜色、坐标

需要批量下载一个bucket下的内容，bucket下文件有19GB+，且文件夹结构复杂，使用官方的Console无法完成这么大量文件的下载，而且也不支持文件夹的分享，所以自己写个工具下载，顺便把上传的也写了。

milvus：v2.2.4go：1.20.2 darwin/amd64milvus-backup：v0.2.2

pre_seq_len的取值范围一般是1到512，它表示自然语言指令的长度，即输入序列中的前pre_seq_len个token，具体的值需要根据自然语言指令的长度和复杂度来确定。一种可能的方法是，根据不同的指令类型设置不同的pre_seq_len值，例如，对于简单的指令，如“生成一个笑话”，可以设置pre_seq_len为4；不完全是的，pre_seq_len和max_source_length的含义是不同的，但是它们之间有一定的关系。因此，需要根据具体的任务和数据集来调整这个参数，以达到最佳的效果。

系统版本：Windows 10 企业版版本号：20H2系统类型：64 位操作系统, 基于 x64 的处理器处理器：Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19 GHz机带 RAM：16.0 GB显卡：NVIDIA RTX 2070（8G）Python版本：3.10.11

QPS从几百提升至几千，包含JVM、线程池、连接池、rocketmq使用等调优