开卷有益

原创 基于测试集优化大模型提示词，进阶优化小模型

这样大模型跑提示词可在测试集达到95%以上的正确率，但用这个提示词标注训练集，训练的小模型正确率为86%，虽比 未优化的提示词标注的训练集训练的小模型在测试集正确率由75%提升到86%，但还有提升空间。这里，提示词标注的训练集 可能是一个200W的集合，或者500W的集合，或者1000W的集合。

原创 Mac版Cursor启动后自关闭

【代码】Mac版Cursor启动后自关闭。

原创 小心url请求串最后的换行符，也会被带到请求串里

后面不小心加了一个换行符，这个换行符也会被带入，实际变成了。在一个请求串最后，比如加了。

原创 现有模型无法完全解决问题时，TAIR解决高频流量的问题

这时候，可以用TAIR缓存（新的业务场景标准定义下的）大模型离线推理的匹配结果，解决高频流量，然后现有模型cover长尾流量。但在新的需要衡量query和poi-name匹配度的业务场景，因为标准定义原因，现有的模型，无法完全解决新的业务场景的问题，现在有个文本匹配模型，可以衡量query和poi-name的匹配度，如果再训一个新匹配模型，来替换现有匹配模型，投入产出比太低了。

原创 大模型提效工作

把自己看成一个中枢调度中心，指挥各个Agent/LLM干活，别觉得走通Agent流程费事，磨刀不误砍柴工。想办法把东西都让Agent接触到，

原创 人工标注测试集的AI辅助

可用多种大模型或多套（完成相同任务的）提示词，分别对测试集进行推理，找出里面label不一致的数据，再进行人工标注，考虑需基于测试集优化LLM提示词，完成一个具体NLP任务，这时候测试集本身需要人工标注，可节省人工标注全部测试集的时间。

原创 做线上模型的TAIR缓存技巧

然后把预测结果直接灌入TAIR做成缓存啊，不用离线用模型推理刷之后再灌入TAIR啊。可以用线上日志记录这个模型的预测结果，部署了一个线上模型，

原创 图片embedding微调记录

如果有每个图所在的POI（店铺/景点）text信息，对比学习可以把这些POI信息融入，用POI给图片更多区分度：（实现了跨卡对比学习）提升负例难度，可以准备相似的其他POI作为负例，比如把 POI类目 相同的POI聚到一个batch里。又尝试了卡相似度阈值卡正负例：就是用Base模型的emb，在训练时算相似度，给正负例卡阈值分数；用站内的美食+风景图片微调Qwen3-VL-2B-Embedding模型，又尝试了用Qwen3.5多模态模型写提示词选出高质量的站内图训练。DINO是纯拉开单图的距离，训了。

原创 vLLM模型启动参数 速度优化

● longest_edge: 1000000 和 shortest_edge: 10000：设置了一个非常宽松的图片尺寸范围，意味着接受大范围的图片分辨率而不强制缩放。● 配合 Vision Encoder 的 dynamic resolution 机制，让模型自适应处理不同尺寸的图片。● 保留图片原始分辨率的更多信息，减少因过度缩放导致的视觉 token 数量变化，使 Prefill 计算更可预测。● 避免了预处理器对图片做不必要的 resize/padding 操作，减少预处理阶段的 CPU 耗时。

原创 约束vLLM强制不输出乱码：guided_regex

【代码】约束vLLM强制不输出乱码。

原创 请求vLLM禁用thinking模式

“enable_thinking”: False“chat_template_kwargs”: {“enable_thinking”: False}{“type”: “text”, “text”: “/no_think”}

原创 微调Qwen3做文本分类任务，加不加instruction

加上instruction比不加（也就是按BERT来微调）

原创 搜索相关性模型的待标注数据准备

不建议：用query cross-join doc出的pair数据，也许可以用一些比如Qwen3-Emb模型多筛选出正例，但总体数据效率还是低，建议：模拟召回链路，对top的query进行top候选doc的召回，构成pair数据。线上曝光日志的query-doc pair是肯定可以加进来的，

原创 针对测试集的提示词自动化优化

跑提示词 --> 出测试集badcase --> 调用Cursor SDK根据badcase改提示词 -->再跑提示词 --> 再出badcase --> 再让Cursor改提示词 --> 循环。目标是写提示词让大模型做具体NLP或多模态任务，

原创 SQL多个表JOIN的速度优化

JOIN的右侧表，如果有多次SELECT相同的TABLE造成的多次JOIN，能合并成一次SELECT解决，就合并成一次SELECT这个TABLE进行JOIN。一个SQL里JOIN多个表，如果跑的很慢，可以尝试分步JOIN，一步的JOIN写入中间临时表，再和其他的表JOIN。各个表的大小都差不多，不能用MAPJOIN优化时。

原创 限定vLLM输出json格式：guided_json

【代码】限定大模型输出json格式的模版。

原创 限定大模型输出json格式的字段

【代码】限定大模型输出json格式的字段。

原创 计算机视觉入门，微调1B左右的图像模型，batch_size大于2就OOM

要把图片resize到比如448。

原创 读图片url训练/推理，速度慢，如何优化

从OSS/NAS读已经下载的图片训练/推理，也不快，还不如直接读image_url。放弃落盘OSS/NAS，读image_url就训练/推理，速度也起不来，但没深究。

原创 Linux，pip安装发现包都被安装到了~/.local里

site-packages路径。

原创 CommandNotFoundError: Your shell has not been properly configured to use ‘conda activate‘.

【代码】CommandNotFoundError: Your shell has not been properly configured to use ‘conda activate‘.

原创 一个文件夹里有几千万文件，用python遍历，速度很慢

【代码】一个文件夹里有几千万文件，用python遍历，速度很慢。

原创 在训练数据里修复embedding相似度计算的badcase

2，用input_text3和input_text4检索出训练数据中最相似的那批数据。，计算相似度不正确，我该如何在训练数据里修复这一个badcase，再重训模型？1，有针对性的训练样本，加入到你的训练数据中。计算相似度的方式训练embedding，

原创 ODPS每个worker里面有个UDF，UDF里有http请求，报错timeout

有监控的话，看下http请求的服务端的QPS多少，大概率是QPS太低了，

原创 git fork之后，怎么继续pull

【代码】git fork之后，怎么继续pull。

原创 CentOS下载torrent文件的工具aria2的安装

【代码】CentOS下载torrent文件工具aria2的安装。

原创 国内高速下载huggingface数据集或模型

【代码】国内高速下载huggingface数据集。

原创 搜索相关性模型，选用分类Loss输出档位，还是回归Loss输出0~1分数

Target Label自然从[0, 1, 2, 3]映射到[0.0, 0.33, 0.66, 1.0]分，直接体现出类别之间的有序性，不容易出排序上的badcase，因为如果一个数据如果是0.5分，错误顶多可能给预测到0.7分，还行，但是选分类Loss的话，如果0档给预测成3档，会比较严重。

原创 evalscope和opencompass安装完找不到运行指令

在python3所在目录下找不到。

原创 基于向量相似度的搜索结果去重算法

离线通过cosine相似度计算，用每个keyword去检索其余9999个keyword，取topN keyword，然后用LLM加去重判断，现在比如有10000个keyword，都有keyword-embedding，去重后的结果做成key-value格式的，导入到线上比如tair数据库，线上用户输入的input作为key去读tair数据库。

原创 LLM做文本分类的提示词工程

的推理过程，发现，如果每个类目给了20-30个showcase列表，其实LLM最多只会利用其中1-5个showcase，其余showcase会忽略掉，想指望LLM能从给的20-30个showcase中，像人类标注员一样自己提炼出泛化规则，LLM是不能的，这也是说，如果想写大量的showcase来实现自己所设想的LLM标注时的泛化效果，以修正数据中的。badcase，是不行的，或需要再结合其他方法尝试的。所以只能从类目的定义入手优化提示词。LLM做文本分类，通过看LLM。

原创 LLM做文本分类，提示词加了很多示例，评估该用think模式还是非think模式

非think模式LLM会忽略不少给的示例数据，比如我一共要分3个类ABC，在提示词里，A类写了20个示例，B类写了20个示例数据，C类写了10个示例数据，非think模式的LLM推理结果数量向A类B类倾斜，甚至最后打标到C类的数据为0条，而think模式就会全面考虑给的示例。准备了一个人工标注的测试集，评估发现用think模式正确率较高，非think模式正确率121/250，think模式正确率139/250，LLM选用Qwen3-32B，

原创 在某文本分类任务上Qwen3-32B LLM打标稳定性评估

参数配置如下，主要配置 “do_sample”: false，这时temperature已经失效。参数配置如下，主要配置 “temperature”: 0.1。给100W数据打标，两次打标一致率：98.28%给100W数据打标，两次打标一致率：99.89%

原创 在某文本分类任务上DeepSeek-V3.2 LLM稳定性测试

【代码】在某分类任务上DeepSeek-V3.2稳定性测试。

原创 维基百科的中文目录，txt格式

【代码】维基百科的目录，txt格式。

原创 SFT后训练32B-LLM的一些观察

之后的数据集一起SFT 32B-Base模型，或者基于32B-Chat模型SFT，用COIG-CQIA数据集，以及把COIG-CQIA数据集混合。然后在中文通用评测集CEVAL和CMMLU评测，效果都不如32B-Chat模型。

原创 SQL，对每个groupby的每个group的string得到array＜string＞类型

【代码】SQL，对每个groupby的每个group的string得到array＜string＞类型。

原创 SQL，对每个groupby的每个group的string进行concat

【代码】SQL，对每个groupby的每个group的string进行concat。

原创 【代码】deepspeed保存的checkpoint转换为huggingface格式safetensors（fp16）

原创 写SQL去掉括号和括号里的内容

【代码】SQL去掉括号和括号里的内容。