<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[benben044的专栏]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/benben044</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; benben044]]></copyright><item><title><![CDATA[ElasticSearch的DSL核心语法详解]]></title><link>https://blog.csdn.net/benben044/article/details/168975233</link><guid>https://blog.csdn.net/benben044/article/details/168975233</guid><author>benben044</author><pubDate>Sun, 25 Oct 2026 00:00:34 +0800</pubDate><description><![CDATA[本文系统梳理Elasticsearch核心查询机制与数据结构设计，涵盖各类查询语法（如match、term、bool）、查询优化（filter vs query、boost、sort）、索引管理（分片、别名、reindex）、分词器（ik、standard）及数据类型（text/keyword、nested、join、flattened）等关键概念。重点解析倒排/正排索引原理、字段多类型映射、全文检索与精准匹配的协同策略，并对比MySQL与ES架构差异，适用于构建高效搜索应用。]]></description><category></category></item><item><title><![CDATA[CRF原理通俗理解]]></title><link>https://blog.csdn.net/benben044/article/details/166010883</link><guid>https://blog.csdn.net/benben044/article/details/166010883</guid><author>benben044</author><pubDate>Sat, 19 Sep 2026 18:30:45 +0800</pubDate><description><![CDATA[CRF 是序列级模型，不是逐词分类。发射分数：当前词像什么标签，由神经网络提供。转移分数：标签之间能不能接，由 CRF 学习。全局归一化：所有可能标签序列一起竞争。前向算法：高效计算配分函数 Z(x)Z(x)。维特比算法：高效找最优标签序列。训练目标：最大化正确序列的对数似然。损失函数。代码里是损失，是预测。在 NER 中：让实体边界更连贯，减少非法标签序列。CRF 不负责提取特征，它负责在神经网络给出的发射分数基础上，加上标签转移约束，选出全局最合理的标签序列。]]></description><category></category></item><item><title><![CDATA[GPU计算图优化技术]]></title><link>https://blog.csdn.net/benben044/article/details/164145555</link><guid>https://blog.csdn.net/benben044/article/details/164145555</guid><author>benben044</author><pubDate>Fri, 28 Aug 2026 15:26:48 +0800</pubDate><description><![CDATA[GPU跑得慢很多时间不是算力不够，而是读写显存开销、太多小kernel反复启动。计算图优化，就是站在整个模型全局视角，看懂数据流，在不改变结果的前提下，删掉没用的计算、把多个小算子合并成一个大kernel少读写显存、复用显存内存、重排执行顺序，让硬件资源被充分打满。]]></description><category></category></item><item><title><![CDATA[推荐算法小技巧]]></title><link>https://blog.csdn.net/benben044/article/details/163891269</link><guid>https://blog.csdn.net/benben044/article/details/163891269</guid><author>benben044</author><pubDate>Wed, 19 Aug 2026 19:52:53 +0800</pubDate><description><![CDATA[MAB多臂老虎机策略。]]></description><category></category></item><item><title><![CDATA[GBDT+LR精排实战]]></title><link>https://blog.csdn.net/benben044/article/details/163861962</link><guid>https://blog.csdn.net/benben044/article/details/163861962</guid><author>benben044</author><pubDate>Wed, 19 Aug 2026 15:07:39 +0800</pubDate><description><![CDATA[1）核心目的GBDT负责特征交叉，LR负责线性打分2）GBDT+LR的逻辑链路原始特征 → LightGBM 树分裂 → 样本落到叶子 →pred_leaf拿到叶子 ID → leaf_mapping 映射全局 id → one‑hot 稀疏特征 → LogisticRegression 训练。3）为什么GBDT叶子ID可以当作特征样本落到哪个叶子，就代表满足该叶子路径上一整套特征分裂条件；把叶子ID转one-hot，就把GBDT学到的非线性交叉特征，转成线性模型可以用到的离散特征。]]></description><category></category></item><item><title><![CDATA[一文梳理供应链全链路主流优化算法]]></title><link>https://blog.csdn.net/benben044/article/details/163828695</link><guid>https://blog.csdn.net/benben044/article/details/163828695</guid><author>benben044</author><pubDate>Tue, 18 Aug 2026 10:59:52 +0800</pubDate><description><![CDATA[GBDT：Gradient Boosting Decision Tree，梯度提升决策树适合：1. 商品有一定动销，不是长期大量 0 的间歇慢销件；周维度有真实销量波动。2. 有多源信息：历史时序销量、商品属性（类目、品牌）、价格、节假日 / 促销标记。3. 需要捕捉非线性关系，例如：月份第几周 + 类目叠加带来销量抬升。采用堆叠残差 Block 结构，每一个 Block 同时输出两路：1. Backcast：Block 对输入历史序列的拟合重构；]]></description><category></category></item><item><title><![CDATA[Qwen+GRPO后训练实战]]></title><link>https://blog.csdn.net/benben044/article/details/163639600</link><guid>https://blog.csdn.net/benben044/article/details/163639600</guid><author>benben044</author><pubDate>Tue, 11 Aug 2026 14:53:32 +0800</pubDate><description><![CDATA[本文介绍了使用Unsloth框架对医疗问答模型Qwen2.5-3B-Instruct进行微调的方法。通过4bit量化和LoRA技术实现低资源消耗，采用GRPO强化学习算法优化模型。关键点包括：1) 使用包含语义正确性、流畅性和格式检查的混合奖励函数；2) 基于Deepseek-R1蒸馏的医疗数据集训练；3) 实验显示奖励值在50步后收敛至0.6左右。最终模型能规范生成包含&lt;reasoning&gt;和&lt;answer&gt;标签的医疗回答，220MB的LoRA适配器实现了效果提升。该方法为医疗垂直]]></description><category></category></item><item><title><![CDATA[大模型之OPD在线策略蒸馏训练实战篇]]></title><link>https://blog.csdn.net/benben044/article/details/163449448</link><guid>https://blog.csdn.net/benben044/article/details/163449448</guid><author>benben044</author><pubDate>Tue, 04 Aug 2026 10:34:46 +0800</pubDate><description><![CDATA[用当前策略生成训练数据输入一批prompts，使用当前Student模型生成完整回答记录生成序列、prompt长度，并计算当前策略下生成部分的log概率（Teacher模型对同一序列计算生成部分的log概率（所有操作均在下执行，不产生梯度：采样用的是（最新模型），保证数据新鲜度。]]></description><category></category></item><item><title><![CDATA[大模型之基于TRL的RLHF对齐训练实战篇]]></title><link>https://blog.csdn.net/benben044/article/details/163373533</link><guid>https://blog.csdn.net/benben044/article/details/163373533</guid><author>benben044</author><pubDate>Sun, 02 Aug 2026 18:29:45 +0800</pubDate><description><![CDATA[RLHF标准三段式：阶段 1：SFT 监督微调 → 阶段 2：训练 RewardModel 奖励模型 → 阶段 3：PPO 强化学习对齐中的merged的模型，后面该模型直接叫SFT模型。同时PPO里Actor初始权重=SFT模型；Reference模型固定为SFT模型（用来计算KL散度约束，方式模型崩坏）。]]></description><category></category></item><item><title><![CDATA[大模型之基于TRL的ORPO对齐训练实战篇]]></title><link>https://blog.csdn.net/benben044/article/details/163362954</link><guid>https://blog.csdn.net/benben044/article/details/163362954</guid><author>benben044</author><pubDate>Fri, 31 Jul 2026 17:53:58 +0800</pubDate><description><![CDATA[trl=1.9.2在32GB * 2 = 64GB显存的环境中训练。]]></description><category></category></item><item><title><![CDATA[ORPO算法数学原理篇]]></title><link>https://blog.csdn.net/benben044/article/details/163360369</link><guid>https://blog.csdn.net/benben044/article/details/163360369</guid><author>benben044</author><pubDate>Fri, 31 Jul 2026 11:25:24 +0800</pubDate><description><![CDATA[ORPO = Odds-Ratio Preference Optimization，对数几率偏好优化。DPO训练流程：SFT 训练得到基座 → 再执行 DPO 偏好对齐。DPO 必须加载一份冻结的参考模型（SFT 模型），计算 policy 模型与参考模型的对数概率比值，带来额外显存占用。ORPO 的核心思想：将 SFT 监督损失 + 偏好对齐损失合并为单阶段损失函数，不需要显式的 reference 参考模型。数据集格式与 DPO 完全一致：prompt、chosen、rejected。]]></description><category></category></item><item><title><![CDATA[大模型之基于TRL的DPO对齐训练实战篇]]></title><link>https://blog.csdn.net/benben044/article/details/163337642</link><guid>https://blog.csdn.net/benben044/article/details/163337642</guid><author>benben044</author><pubDate>Thu, 30 Jul 2026 19:17:25 +0800</pubDate><description><![CDATA[TRL = Transformer Reinforcement Learning，它是huggingface提供的专门给Transformer大模型做对齐训练的工具库，把大模型对齐常用算法封装好了。总结：TRL 是 HuggingFace 开源的大模型对齐库，封装了 SFT、奖励模型、PPO、DPO 等对齐算法。我们做 DPO 直接使用DPOTrainer，它内部已经实现 DPO 损失函数，负责计算 policy/ref 模型的序列对数概率、冻结 ref 模型、训练循环，极大降低对齐代码开发量。]]></description><category></category></item><item><title><![CDATA[DPO算法数学原理篇]]></title><link>https://blog.csdn.net/benben044/article/details/163336032</link><guid>https://blog.csdn.net/benben044/article/details/163336032</guid><author>benben044</author><pubDate>Thu, 30 Jul 2026 14:52:35 +0800</pubDate><description><![CDATA[PPO希望两件事：拿到更高奖励，同时不能离SFT基准模型太远。]]></description><category></category></item><item><title><![CDATA[大模型之基于PEFT的SFT微调实战篇]]></title><link>https://blog.csdn.net/benben044/article/details/163307324</link><guid>https://blog.csdn.net/benben044/article/details/163307324</guid><author>benben044</author><pubDate>Wed, 29 Jul 2026 20:55:34 +0800</pubDate><description><![CDATA[它不会修改磁盘上原始模型代码/权重文件，全部是运行时内存层面动态修改模型对象。磁盘上的模型文件 (.bin/.safetensors) 保存的就是这些 Linear 的 weight、bias。对于get_peft_model(model, lora_config)操作，LoraLinearlora_Alora_B前向传播同时跑两路：基座输出 + LoRA 分支输出相加。反向传播只更新 A、B；基座 Wbase 梯度关闭，不更新。]]></description><category></category></item><item><title><![CDATA[VLM从入门到精通]]></title><link>https://blog.csdn.net/benben044/article/details/162177231</link><guid>https://blog.csdn.net/benben044/article/details/162177231</guid><author>benben044</author><pubDate>Wed, 29 Jul 2026 15:49:01 +0800</pubDate><description><![CDATA[VLM：Vision Language Model视觉大语言模型通才模型 -> 专才模型。以前是每个任务专门训练一个模型，现在是训练一个通用的大模型，然后用非常小的成本迁移到特定场景去。timm（Pytorch Image Models）是一个汇集了前沿（SOTA）计算机视觉模型、训练工具和实用函数的Pytorch库，可以把它看作是计算机视觉领域的“模型超市”和“训练百宝箱”。CLIP中：提供一对图片和文字的描述。]]></description><category></category></item><item><title><![CDATA[YoloV11源码解读]]></title><link>https://blog.csdn.net/benben044/article/details/162306425</link><guid>https://blog.csdn.net/benben044/article/details/162306425</guid><author>benben044</author><pubDate>Sat, 27 Jun 2026 12:53:10 +0800</pubDate><description><![CDATA[本文摘要：文章系统介绍了YOLOv11目标检测算法的实现细节，包括环境搭建、模型结构分析、关键模块原理及损失函数设计。重点解析了Conv、C3k2、C2PSA、SPPF等核心模块的结构和功能，阐述了深度可分离卷积、注意力机制等关键技术。在损失函数部分，详细说明了分类损失（Multi-label BCE）、边界框回归损失（CIoU+DFL）和置信度损失的设计原理。全文通过模块化拆解和公式推导，深入剖析了YOLOv11的网络架构和优化策略，为算法实现和改进提供了全面的技术参考。]]></description><category></category></item><item><title><![CDATA[常用梯度优化器工具从SGD到Adam]]></title><link>https://blog.csdn.net/benben044/article/details/162294923</link><guid>https://blog.csdn.net/benben044/article/details/162294923</guid><author>benben044</author><pubDate>Thu, 25 Jun 2026 11:08:17 +0800</pubDate><description><![CDATA[介绍了SGD、Momentum、Adam、AdamW四种梯度优化器的原理]]></description><category></category></item><item><title><![CDATA[QLoRA技术从入门到精通]]></title><link>https://blog.csdn.net/benben044/article/details/162280268</link><guid>https://blog.csdn.net/benben044/article/details/162280268</guid><author>benben044</author><pubDate>Wed, 24 Jun 2026 23:02:02 +0800</pubDate><description><![CDATA[QLoRA技术讲解，从LoRA的原理，到量化的原理，再到QLoRA的工作流程]]></description><category></category></item><item><title><![CDATA[vLLM推理引擎从入门到精通]]></title><link>https://blog.csdn.net/benben044/article/details/162222428</link><guid>https://blog.csdn.net/benben044/article/details/162222428</guid><author>benben044</author><pubDate>Wed, 24 Jun 2026 16:20:41 +0800</pubDate><description><![CDATA[vLLM框架通过PagedAttention技术革新了LLM推理的内存管理，将KV缓存分块存储并支持动态共享，使内存利用率提升至80%以上。其核心架构包含调度器、块管理器、工作引擎和内存池四大组件，采用动态批处理消除请求阻塞，实现高吞吐与低延迟的统一。]]></description><category></category></item><item><title><![CDATA[Deepspeed实战入门]]></title><link>https://blog.csdn.net/benben044/article/details/162193897</link><guid>https://blog.csdn.net/benben044/article/details/162193897</guid><author>benben044</author><pubDate>Mon, 22 Jun 2026 20:38:40 +0800</pubDate><description><![CDATA[本文介绍了使用DeepSpeed训练BERT和BLOOM模型的实践与优化方法。首先针对BERT模型在MRPC任务上的训练，详细说明了配置文件设计、训练代码实现及过拟合优化策略，包括早停机制、权重衰减和学习率调整等。其次，重点阐述了ZeRO-Offload技术在有限显存下训练BLOOM-3B大模型的应用，包括配置文件编写、资源占用分析和性能优化。]]></description><category></category></item></channel></rss>