Kida 的躺平小屋-CSDN博客

原创【从零开始】19. 模型实测与验证

在真正开讲之前需要补充一下“16. 基于 CPU 的转换、量化实现”和“18. 持续优化模型微调”中遗漏的信息。

2025-12-05 11:18:11 925

有小伙伴私信说希望能展开说说如何做模型持续优化，为此临时加开一章，讲讲如何结合 brain-mix 项目的 Unsloth 微调报告进行训练结果分析。首先我们在超参数不变的前提下做三轮训练，每次训练只增加训练数据，看看三轮下来的效果如何。通过损失率（Loss）稳定下降得知，当前模型处于“欠拟合”或者说学习不足的状态。这意味着模型的容量（由 LoRA 参数的 r 决定）可以学习更复杂的模式，但它还没有“看”到足够多的数据来充分学习。简单来说就是模型当前还“学有余力”，但我提供的“学习资料”不足。

2025-11-06 11:10:06 844

原创【从零开始】17. 中文摘要提取工具

答：Maximal Marginal Relevance (MMR)，最大边缘相关性算法。简单来说使用 MMR 的最终目的是为了选出 k 个句子，使得这些句子既与原文主题相关，但又彼此之间不重复。

2025-10-30 11:48:09 735

原创【以太来袭】2. 节点设计与部署

在实际开始之前，要先决定好要用哪种共识机制。那个时候用的是 Besu 的 22.4 版本。本次 Besu 使用的是 25 版本，经过这么几个大版本升级之后原有的问题应该已经修复了吧…那么本次我们就还是先试试 QBFT 吧。话又说回来，为什么我对 QBFT 共识那么执着呢？那么事不宜迟，我们马上开始吧。

2025-10-22 16:13:11 1006

原创【Java】基于 Tabula 的 PDF 合并单元格内容提取

而 Tabula 的 SpreadsheetExtractionAlgorithm 算法是处理这种问题的最佳起点，但它提取的结果会是“不规则”的，即每行的单元格数量可能不同。因此本次将采用后处理的方式进行解析，Tabula 更多的只是作内容提取，表格组织还是在后期处理进行的。本次解决问题的核心思路就是通过计算每一个单元格完整的边界框，得到它的 top，left， bottom，right。同理，通过收集所有单元格的 left 坐标和 right 坐标，可以推断出所有“真实”的列边界。”章节里面的那个表格。

2025-10-21 14:42:57 593

原创【从零开始】16. 基于 CPU 的转换、量化实现

不过这次的 OpenVINO 量化方案我会选择 “OpenVINO IR + IR 量化” 这种方式来实现，前期先以 Weight-only 做 INT4 权重量化，后续还会将其优化成 PTQ 模式，添加 calibration_dataset 做激活校准。没有样本数据，框架就无法知道激活值的实际分布范围。所以，校准数据的目的，是“观察”模型在真实输入下的激活统计，从而避免量化后溢出或精度崩坏。站在我们真实的场景中，QAT 需要重新训练，而且需要全量的训练数据，因此并不适合我们，我才使用 PTQ 的。

2025-10-13 14:06:41 723

原创【以太来袭】1. 企业以太坊回归

而 Fabric 引入了许多独特的、复杂的概念，如通道 (Channels)、锚定节点 (Anchor Peers)、背书策略 (Endorsement Policies)、成员服务提供者 (MSP) 等，学习曲线非常陡峭。而部署一个生产级的 Fabric 网络，则需要配置 Orderer 节点、Peer 节点、CA (证书颁发机构)、MSP，并定义复杂的通道和背书策略，整个过程涉及的组件和配置文件要多得多，运维也更复杂。而 Fabric 虽为实现复杂的背书策略提供了可能，但也增加了系统的复杂性。

2025-09-26 13:36:58 345

原创【从零开始】15. “小”模型微调

指标最小值最大值平均值标准差验证集损失2.02372.58822.09950.1262训练集损失1.40402.32191.92960.2101训练耗时(分钟)8.2137.937.0。

2025-09-23 14:32:08 1004

原创【从零开始】14. 数据评分与筛选

于是最终就变成了，写个自动化脚本遍历所有问答退，并使用 3 个大模型同为一条问答对进行评分，最终取平均分为最终得分（由于大模型各自的机制不一样，若只用一种大模型进行评分未免有些偏颇，既然这样我就同时用 3 个大模型进行评分，效果要好一点）。至于后面根据平均分字段进行删除的就不再将代码贴上来了，各位有兴趣可以到我的 gitee 或者 github 仓库中查阅吧（就根据所有记录“平均分”字段汇总做一个总的平均分，低于分数线的记录直接删除就是了，没有什么可说的）。并且每个行业的情况不一样，感觉没有分享的必要了。

2025-09-14 21:18:50 543

原创【从零开始】13. 数据增强（Data Augmentation）

书接上回，上一章我们简单地过了一遍如何获取训练数据并通过代码将数据保存到 Elasticsearch 中了，但是保存下来后发现数据量还是不够（总数据量 22w+），这个时候可以选择采用数据增强技术来补充训练数据。同理，这次我也是在 Modelscope、和鲸、飞桨、天池等多个平台获取跟中药相关的开放数据集，由于这次数据集不再是直接的问答数据而是一些内容详情，因此无法直接使用。为了方便数据整理我先按分类将数据集放入最为熟悉的 MySQL 中进行数据“初加工”。处理起来大同小异，就不再叙述了。

2025-09-12 10:52:03 1014

原创【从零开始】12. 一切回归原点

各位新老朋友，好久不见了。距最后一次更新已有差不多一年的时间了。这期间发生了很多事儿，一度让我走进了人生低谷。现在，一切都已经过去，热爱分享、与君共勉仍是我的初心。一切都“从零开始”吧，这样也不错。言归正传，由于不可抗力的因素“番外篇”就此结束。接下来我将会以“零成本”为目标跟大家一起“搓”一个简单的中药领域 NLP 模型出来，之前未能分享给大家的，接下来将结合新优化一并公开分享。此外，由于 RTX 1060 显卡已被家人征用，因此本次分享将另辟蹊径。整条技术线将以 CPU 为推理单元完成，望周知。

2025-09-10 17:08:15 1068

原创【从零开始】11. LLaMA-Factory 微调 Qwen 模型（番外篇）

本文将从部署开始，详细讲一下如何使用 llamafactory 对开源模型进行指令微调了，并且在微调过程中我是如何一次一次地进行参数调整的，我也跟各位分享一下。

2024-12-29 22:16:18 2010

原创【从零开始】10. RAGChecker 提升回答准确率（番外篇）

本文讲述本人使用 RAGChecker 对 RAG 应用调优的过程，里面还会包含一些关于 RAGChecker 的使用意见，希望对各位有用～

2024-12-25 18:27:22 941

原创【从零开始】9. RAG 应用调优-再续（番外篇）

本文将介绍在 Python 中如何对 CUDA 显存进行监控并在到达阈值时进行显存的清理，希望这个对大家也有用吧。

2024-12-13 15:55:21 515

原创【从零开始】8. RAG 应用调优-续（番外篇）

“直线谁不会踩油门，弯道快才是真的快”这句话的含金量还在上升。

2024-12-05 09:09:39 1136

原创【从零开始】7. RAG 应用调优（番外篇）

本文讲述如何使用 pressure_util.py 压测工具对基于 transformers 驱动的 RAG 应用进行性能调优的过程（没有用加速框架就是一些基础优化）。

2024-11-23 09:24:14 1290

原创【从零开始】6. RAG 应用性能压测工具（番外篇）

本文主要讲述 SSE（ServerSent Event）机制，以及如何编写基于 SSE 的压力测试程序，虽然是一个浅显的 Python 实现，但对于希望远程压测的需求来说是够用了（前提是配合其他监控工具使用，因为本工具没有数据统计）。

2024-11-11 11:24:58 1290

原创【从零开始】5. 向量数据库选型与搭建（番外篇）

本文将结合 docker 版本的 elasticsearch 8.x 给各位展示自封装的 python elasticsearch 工具类。与此同时创建今后演示需要的项目 brain-mix 到 github 库

2024-11-08 11:24:26 1709

原创【从零开始】4. 搭建 Python 开发环境（番外篇）

主要讲述了python 开发环境的搭建工作，从 anaconda 下载安装到 vscode 插件安装，也希望能够对 python 初学者有点帮助

2024-11-05 17:34:44 1188

原创【从零开始】3. Ollama 接入开发工具（番外篇）

本文讲述的是如何使用 twinny 将远程 Ollama 算力接入到开发工具中，极大程度释放开发人员生产力。

2024-10-27 10:24:27 1529 2

原创【从零开始】2. Dell PowerEdge 人工智能服务搭建（番外篇）

本文属于番外篇，讲的是如何从一台服务器裸机到完成 Ollama 和 Stable Diffusion 部署的全过程

2024-10-26 20:24:30 1341

原创【从零开始】1. 一切从硬件升级开始

【从零开始】系列的第一篇文章，讲述了升级人工智能硬件并实际运行 Ollama 进行推理的过程。

2024-10-25 09:28:12 1189

原创【Docker】Elasticsearch 8.12 安装与搭建

由于工作过程中硬件资源未能达到要求，现将使用 Elasticsearch 取代原 Redis + MySQL + Milvus 技术栈，在重新搭建的同时记录一下搭建过程（由于之前也分享过 Docker 版本 Elasticsearch 5.x 和 Elasticsearch 7.x 的部署方法，因此本文对分享过的内容将不再重复说明）。

2024-08-11 23:42:03 1589