- 博客(354)
- 资源 (92)
- 收藏
- 关注
RSS订阅原创 基于vllm-ascend的华为atlas大模型部署
或者，gpu-memory-utilization取值0-1之间，默认取值0.9，之所以增加gpu-memory-utilization参数，是因为DeepSeek 的"max_position_embeddings": 131072，远远大于qwen3的"max_position_embeddings": 40960。解释:比如跑Qwen3-8B 模型，--tensor-parallel-size=2 表示将一个层中的计算任务分成2份，在2个 GPU 之间并行执行。利用vllm进行部署，
2025-05-13 15:20:09
982
原创 Dify平台下基于搜索引擎SearXNG 和文本转换工具Marp的PPT助手搭建
SearXNG 是一款免费、开源的元搜索引擎，能够聚合来自多达 200 多个搜索服务的结果，同时为用户提供强大的隐私保护。简单来说，SearXNG 是一个可以私有化部署的开源搜索引擎，既满足了用户对隐私的需求，又提供了灵活的自定义选项。2、基于marp生成的ppt质量很低，和主流的AIPPT差距天壤之别，更建议基于AIPPT来生成，但是AIPPT需要付费。- json，扩展数据返回格式，增加json，否则设置SearXNG插件，添加访问search接口会报错403。这里直接安装的windows版本exe。
2025-05-07 17:01:51
1235
原创 BERTSCORE：基于bert模型评估文本生成
论文提出BERTSCORE，一种基于 BERT 上下文嵌入的文本生成评估指标，通过计算候选文本与参考文本的 token 级余弦相似度（结合贪心匹配和可选的逆文档频率加权）评估语义等价性。重要的是，这些嵌入模型捕捉的是单词在上下文中的含义，而不是静态的单词表征。：候选文本（生成文本）和参考文本均使用与所使用的预训练模型（如 BERT、RoBERTa）相对应的标记化器进行标记化。：对于候选文本中的每个标记，BERTScore 会计算其与参考文本中每个标记的余弦相似度，从而创建一个相似度矩阵。
2025-04-29 11:15:03
827
原创 大模型数据预处理方法总结
可以直接使用现有分词器，如 GPT-2 的分词器用于 OPT 和 GPT-3，而当语料库涵盖多个领域、语言和格式时，专门针对预训练语料库定制的分词器可能带来更多优势。该分类器通常使用从高质量数据源（例如维基百科）精选的数据作为正样本，将待评估数据作为负样本，进而训练一个二分类器，该分类器生成评分用于衡量每个数据实例的质量。这种方法通过设计一系列规则或策略来识别和删除低质量的数据，这些规则或策略基于对数据特性的理解和分析，可以提高数据的质量和可用性。常见的质量过滤方法包括基于分类器的方法和基于启发式的方法。
2025-04-24 20:10:37
604
原创 QA抽取:
问题定义：QA 抽取，即从给定的文本中抽取出问题（Question）和答案（Answer）对，是自然语言处理（NLP）领域中的一项重要任务。在构建基于向量存储的知识库时，文档通常以叙述或对话形式存储。然而，用户的查询大多是问答形式。通过在向量化之前将文档转换为Q&A格式，我们可以提高检索相关文档的可能性，并减少检索不相关文档的风险。
2025-04-23 19:42:36
728
原创 再读bert（Bidirectional Encoder Representations from Transformers）
再读 BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以 Transformer 架构为罗盘，在预训练与微调的星河中精准导航，打破 NLP 领域长久以来的迷雾。而如今，书页间跃动的不再仅是 Attention 机制精妙的数学公式，更是一场关于语言本质的哲学思辨 —— 它让我看见，那些被编码的词向量，恰似人类思维的碎片，在双向语境的熔炉中不断重组、淬炼，将离散的文字升华为可被计算的意义。
2025-04-18 20:26:13
1127
原创 大语言模型的训练、微调及压缩技术
大语言模型（LLM）是非常庞大的深度学习模型，它们在大量数据上进行预训练。其底层的Transformer是一组神经网络，由具有自注意力能力的编码器和解码器组成。编码器和解码器从文本序列中提取含义，并理解其中单词和短语之间的关系。Transformer神经网络架构允许使用非常大的模型，这些模型通常包含数千亿个参数。如此大规模的模型可以摄取大量数据，这些数据通常来自互联网，也可以来自如包含超过500亿个网页的Common Crawl，以及约有5700万页面的维基百科等来源。语言和交流的过程可以简化为计算吗？语言
2025-04-18 16:00:08
1079
原创 基于政务问答的dify接口请求测试
在请求时，需先前往应用左侧导航的 “API Access” 部分，在此可查看文档和管理访问凭据。为保障安全，API 密钥应通过后端调用，避免在前端代码中暴露。而对话应用则调用 chat - messages API，首次调用发起对话，后续通过返回的 conversation_id 维持会话，实现与用户的持续问答交互。（1）通过接口请求和基于dify网页请求2者的结果基本是相同的，但是细节处还是有些差别，感觉应该是dify网页上还有一些后续的完善和处理的操作。代码中包含了阻塞式请求、流式请求2种请求方式。
2025-04-14 11:30:45
367
原创 Langchat平台知识库测试
Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。模型基于ollama配置的qwen、deepseek等模型。切片管理只可以进行删除操作，不能进行编辑。是Java生态下企业级AIGC项目解决方案，集成RBAC和AIGC大模型能力，帮助企业快速定制AI知识库、企业AI机器人。新建一个政务问答的智能体，并进行提示词、知识库、模型等的配置。
2025-04-07 19:38:54
467
原创 京东云智能体平台joybuilder v3.0.0测试
类似dify一样，有空间管理的概念，dify是一个用户一个工作空间，免费版不允许自己修改多用户多租户，主要是限制了to C的企业。（1）Dify的chunk分段不是很好，如果经过人工优化后，两者的效果是相当的。（2）比如第一个问题，joybuiler会把不相关的文件也召回，这点不如dify，但是回答的还是正确的。Joybuilder的空间比较灵活，没有那么多限制，一个用户可以同时开启多个空间，空间也有权限管理。知识库的召回模式也是默认的，没有像dify那样暴露较多，可以个性化设置。
2025-04-07 19:27:22
924
原创 2025徘徊与坚守：在传统与变革间寻找自己
整体来说，我投的简历不多，大多数都是请假去面试的，有1个是中午面试的，其余周末面试的。思考了很多，12-13k的这种对于我现在的薪资来说，没啥竞争力，15-16K的这种有点意思了，但是不够，20k的这种可以说在我这样的小城市，诚意满满了。我这样的人，总是为被人考虑的多，为自己考虑的少，最终，活成了别人，忘记了自己，屠龙少年终成恶龙。另外一个问题就是内耗严重，这种内耗不是bat的那种996，人家是真真实实的做事创造价值，但是这确实自己人疲劳自己人，下班后的通知、电话，整的一个人“没钱没时间”。
2025-04-03 20:01:16
917
原创 基于大模型的pc版语音对话问答
Solution类初始化语音合成引擎，在chat_with_ollama方法中，持续监听语音输入，调用 OpenAI 兼容模型获取回复，实现语音播报并更新对话历史。主程序初始化语音识别模型，启动各功能模块并开启 Tkinter 主循环，使应用程序能正常运行。网页端Web 语音 API，例如 Web Speech API 或者 Google Cloud Speech-to-Text API 等。采用vllm框架，部署DeepSeek-R1-Distill-Qwen-7B模型。模型下载，大概1.99G。
2025-03-28 12:13:16
1097
原创 大模型应用平台架构
MCP 是 Model Context Protocol（模型上下文协议），是一种开放标准协议，旨在为大型语言模型与外部数据源、工具和服务，提供标准化的双向通信接口，核心特性包括支持单一协议连接多种工具和服务、AI 智能体可动态发现可用工具、基于双向通信机制实现实时交互、本地与远程兼容，以及内置标准化访问控制确保安全等。HDD（机械硬盘）和 SSD（固态硬盘）作为数据的长期存储介质，HDD 适合大容量、对读写速度要求不太高的数据存储，而 SSD 以其高速读写性能，常用于存储需要频繁访问的数据。
2025-03-26 18:48:16
1009
原创 基于dify的语文作文批改agent
第二个节点，HTTP请求主要实现一个OCR识别的api post请求。实现过程，刚开始我是基于URL进行图片传递的，有问题，一直卡着过不去，后来换成基于bytes传递。第二个节点，LLM2选用的模型为Pro/Qwen/Qwen2-VL-7B-Instruct。思路1：基于OCR的思路进行作文文字的提取，再将提取的文字传给LLM进行点评。最后一个节点直接回复大模型的输出，LLM2/{x}text。第三个节点，LLM模型采用qwen2.5-14b的模型。其中OCR识别采用的百度的paddleOCR（
2025-03-25 10:34:46
1076
原创 5款视觉OCR开源模型
来自清华和旷视的研究团队提出了一个通用的OCR-2.0模型，模型能够处理各种OCR任务中的上述所有类型的“字符”，是一个统一且优雅的端到端模型，包含高压缩编码器和长上下文解码器。Umi-OCR 可以将纸质文档、书籍、合同等转换为可编辑的电子文本，提高文档存储和检索的效率。Surya：多语言文档OCR工具包，可进行准确的文本行检测，即将推出文本识别功能，以及表格和图表检测功能，可以处理各种类型的文档和多种语言。该模型可以更深入地理解丰富的文档，尤其是包含图表、图形、公式和数字的科学论文。
2025-03-25 09:21:01
3104
原创 基于dify的数学试卷批改agent
其实收集道这个需求，本来我以为只能做做选择题、填空题，甚至对于填空中的根号、分数啥的我也是不自信的，至于简答题，需要按步骤给分，我就更不自信了。但是实际做下来，发现VL大模型的强大远超我的想象。彻底颠覆了OCR的模式，这或许就是未来的一种趋势了吧。最后回复中，需要依次输出3个LLM的输出结果，设置如下，第二个LLM模型，上下文设置为第一个LLM的text。第三个LLM模型，上下文设置为第二个LLM的text。第一个LLM模型，SYSTEM中设置如下，分辨率选择高、低都可以，我这里选的低。
2025-03-24 20:18:57
179
原创 MCP(Model Context Protocol)总结
技术门槛的降低和功能的增强，正在为我们打开一个 AI 无处不在的未来...MCP 可能不是完美的协议，但在大模型时代，它就像 AI 的“万能插头”，让模型能连上现实世界。这些场景的实现，只需与 AI 简单对话，MCP 就会像一个无形的桥梁，连接起各种服务，让繁琐的操作彻底消失。提示词（Prompts）提示词是服务器提供给AI的预写消息或模板，帮助AI理解如何使用资源和工具，例如，服务器可能告诉AI：“你可以添加任务，试试说‘添加任务：买牛奶’”，从而帮助用户更轻松地完成任务。
2025-03-24 11:27:49
986
原创 本地知识库RAG总结
第一，自己从0开始实现RAG，优点是灵活度高，可以定制，召回有保证，缺点是工作量大。3、融入“知识图谱”技术，将文档中的实体和属性形成可解释的知识图谱，在检索的时候，通过问题中语义实体或关系，基于知识图谱库获取和该问题推理相关的上下文（事实或逻辑），让大模型按照可解释的推理过程进行问题的分解和答案生成。首先通过模型进行关键词抽取，这里可以通过传统的nlp技术进行分词，也可以通过大模型进行分词，然后进行关键词按照同义词做扩充，找到关键词的候选列表，最好根据关键词候选列表调用explore方法召回局部子图。
2025-03-14 20:03:41
1570
原创 dify+mysql的诗词助手
数据库poetry中包含4张表，分别是poems，poems_author，poetry，poetry_author。通过搭建一个支持post请求的http服务，基于该服务实现SQL的查询结果输出。第一个LLM实现将用户提问转化为SQL，模型选择qwen2.5-14b模型，可以基于数据库进行多表的查询汇总，输出结果，并以表格、柱状图等形式展示。{"sql_query": "LLM-生成SQL/{x}text"}开始-->LLM-->Http请求-->LLM-->直接回复。，请求模式为POST，
2025-03-13 18:32:30
515
原创 Distilling Step-by-Step论文解读
GitHub:Google Research 团队发表的论文《Distilling Step-by-Step!》提出了一种创新的知识蒸馏方法，不仅能有效减小模型规模，还能使学生模型在某些任务上超越其教师模型。"Step-by-Step Distillation" 方法的核心创新在于其对推理过程的重视。该方法不再将 LLM 视为简单的输入输出映射器，而是着重提取其解决问题的思维链 (Chain-of-Thought)。这就像在数学教学中，不仅要求学生得到正确答案，更要理解完整的解题步骤。
2025-03-13 14:04:01
1094
原创 在unsloth框架下的基于医疗deepseek模型微调
在技术上，QLoRA涉及量化（quantization）技术，将模型的一部分权重参数存储在较低精度的数值格式中，以此减少内存使用和计算量，同时结合LoRA的低秩调整，让适应过程更加高效。与 LoRA 不同的是， QLoRA 会将插入的低秩适配器层的部分权重进行量化（通常是量化为INT4或INT8），在保持性能的同时显著降低模型的存储和计算需求。例如，对于法律、医疗等专业领域，可以使用少量的标注数据对预训练模型进行微调，帮助模型理解特定行业的术语、规则和知识，进而提升专业领域的问答能力。
2025-03-12 19:57:28
785
原创 Dify框架下的基于RAG流程的政务检索平台
索引模式采用向量检索+全文检索这样的混合检索模式，其中向量检索Embedding 模型使用bge-large-zh-v1.5，排序Rerank 模型使用bge-reranker-large模型，其他参数TopK设置为0，阈值为0.7。对于用户的提问首先进行知识库检索，输出的内容分2个分支，第一个分支进入LLM大模型，第二个分支进入代码执行模块提取出出处标题和内容。项目需要实现对于41个公司规章制度文件的检索，输出检索出自文件名称、命中的问题答案内容，并且保证原始规章制度的格式输出，不允许加工修改。
2025-03-06 20:50:37
496
原创 Llama-Factory框架下的Meta-Llama-3-8B-Instruct模型微调
具体来说，对于模型中的每一个线性层，假设其输入为\(x\)，原始的线性变换为\(y = Wx\)，在应用 Lora 方法后，线性变换变为\(y = Wx + \Delta Wx\)，其中\(\Delta W = BA\)，\(A\)是一个从输入维度映射到低维空间的矩阵，\(B\)是一个从低维空间映射回输出维度的矩阵。：在训练过程中，只对低秩矩阵进行计算和更新，计算量大幅降低。：因为微调后的模型只增加了少量的低秩矩阵参数，模型的大小增加有限，这有利于模型的快速部署，特别是在对部署时间和资源有限制的场景中。
2025-03-06 18:27:20
1202
转载 从LR到DeepSeek，模型慢慢变大了，也变强了
传统机器学习、深度学习、大模型等等都属于机器学习机器学习 = 特征工程+算法模型。其中特征工程是模型的输入，训练阶段模型会对特征（除标签列）进行各种计算期望得到的结果最大可能的接近样本的标签列。训练完成后，固化下来的参数，将用在后续的模型预测阶段中。特征工程是提升模型性能的关键环节，通过合理的特征设计，可以显著提高算法的效果上限。拥有好的特征后，算法模型能够更接近其理论效果上限，从而实现更高的预测准确性。
2025-03-06 12:13:56
526
转载 从Transformer（2017）到DeepSeek-R1（2025）
语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
2025-03-04 11:30:54
299
原创 CCF 山西 deepseek 会议总结
在2025.3.1，CCF在太原师范学院举办了关于DeepSeek技术惠普引领产业变革论坛的会议。整体流程基本就是开幕词--3场演讲--茶歇--2场演讲--panel--结束。最后是圆桌panel，会议最后还赠送了一个CCF的黄色笔记本。和百信有联合研发的大模型一体机。
2025-03-03 11:55:22
227
原创 视频监控平台&&运维部署平台设计
综合展示煤矿企业的接入点位情况，在线情况，煤矿企业的生产情况，报警类型的分布情况，并提供历史报警的快速入口。将各个场景中监控点位情况进行统计展示，不仅展示了监测点在线情况、重点视频监测、摄像头在线统计信息、本月预警事件统计、告警列表、告警统计图、违规行为记录、视频轮询、告警图表统计、人流统计等，还可以直接在二维地图上点击对应点位的进行视频查看。视频监控平台作为现代安防体系的核心枢纽，整合了先进的视频采集、传输、存储与分析技术，构建起全方位、智能化的监控体系，为各行业提供高效、可靠的安全保障及数据支持。
2025-02-28 19:35:42
1011
原创 基于Deepseek系列的大模型思考探索
综合来看，如果您是专业的科研团队，拥有强大的计算资源，追求极致的推理速度，那么 SGLang 无疑是首选，它能像一台超级引擎，助力前沿科研探索；要是您是普通的个人开发者、学生，或是刚踏入 AI 领域的新手，渴望在本地轻松玩转大模型，Ollama 就如同贴心伙伴，随时响应您的创意需求；Ragflow，比较笨重，具备用户管理，集成了RAG，速度很慢，使用软件涉及了es，minio，mysql等，基于助手的产品设计思路不苟同（http://10.1.12.10:80/）开源大语言模型，采用7B和67B两种配置；
2025-02-13 18:09:37
1508
原创 面试题库笔记
此方法来自Hinton在2006年发表的一篇论文，Hinton为了解决梯度的问题，提出采取无监督逐层训练方法，其基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程就是逐层“预训练”（pre-training）；：基本思想是根据学习难度的不同，对不同的少数类别的样本使用加权分布，比较容易学习的少数类样本，对于难以学习的少数类的样本，产生更多的综合数据。大小：物体的大小指面状物体的面积或者线状物体的长度，在图像上表现为像元的集聚状态。
2025-01-23 15:22:30
573
原创 基于华为atlas的重车（满载）空车（空载）识别
但是整体探索过程比较坎坷，Tianxiaomo的代码可以基于原始yolov4模型进行推理，可以转化onnx，但是训练过程我感觉代码有问题，loss很大，也没检测框输出。其中，VOC2025为我自己的数据集起的名字，你也可以起别的名字，Annotations存放XML文件，Main中存放，train.txt，val.txt，txt中只写图片的名字，一行一个。# dataset.py, get_image_id函数，因为我的图片命名规则是Id_id.jpg，所以将2个id拼接起来作为最终的id。
2025-01-13 17:12:56
932
原创 基于华为atlas的车辆车型车牌检测识别
整体分为2个部分，也就是2个模型，车辆检测、车型检测、车牌检测这3个功能是一个基于yolov5的模型实现，车牌识别是基于PaddleOCR中的PP-OCRv3的模型实现。__del__函数调用过程中会出现内存释放的报错，感觉应该是华为对于多个模型并存的内存释放，变量都使用的同一个导致的。今天测试的时候，发现华为的demo中utils.py里面preproc函数的实现还是有问题，自己进行了相应的修改。其中，制作数据集的代码如下，主要实现车牌图片的扣取、车牌检测、车牌识别标签的制作。
2024-12-26 19:28:11
1154
2
原创 基于华为atlas环境下的OpenPose人体关键点检测的人员跨越、坐立检测
然后基于该算法将上面的数据集跑一遍，得到所有数据的人体关键点和类别。基于OpenPose模型将数据集跑一遍，得到关键点坐标数据集，数据集保存在txt里面，每一行格式为（图片名 类别 关键点xy坐标），如果身体遮挡没有关键点的使用-1代替。（2）本质来看，跨越、坐立还是一个时序问题，基于时序的思路解答这个问题效果应该是会高一个量级的。关键点模型也是直接使用的开源的模型，没有在自己私有数据上微调，等等问题都会对最终的结果有影响。收集数据集，数据集中包含3种类型的数据，分别是跨越、坐立、其他（站立、睡着等等）。
2024-10-29 15:53:43
635
原创 基于atlas环境下YOLOV7的睡岗识别
主要基于华为的官方例子，里面修改了原始代码中某些库不支持的问题、解决了模型转化过程中的一些问题，发现了ACL不支持多线程的问题。本来自己是想做一个grpc的架构的，可是实际做的过程中发现华为的AclLiteModel实现的很差，对于进程、线程这些非常不友好，必须得是一个进程，同样的上下文才可以得到正确的推理结果。这里对比的训练的yolov7、yolov7-tiny两个模型，从精度上的明显差距，最终选择了yolov7模型作为最终模型。B站找一段睡觉的视频下载下来，这里实用you-get工具，
2024-09-20 16:00:00
767
原创 基于华为atlas的皮带跑偏、空载、堆煤、启停探索
写这篇的时候，想起当年第一次接触atlas还是在京东的一次aicon的会议上，其实那时觉得这东西挺新的，还有自己的IDE，其实自己也没用过。整体感觉模型这块不算复杂，唯一的麻烦的地方就是皮带、煤、煤块这几个的分割是属于多标签分割问题，就是说一个像素可以属于其中的一个也可以是属于其中的几个。训练过程采用累进训练的方式，我是一个一个目标递进训练的，这样可以获取更好的精度，具体的先训练出背景、皮带、左右托锟的模型，再在此基础上迭代煤的模型，最后迭代煤块的模型。是故无贵无贱，无长无少，道之所存，师之所存也。
2024-08-14 17:49:33
1017
4
原创 基于华为atlas下的yolov5+BoT-SORT/ByteTrack煤矿箕斗状态识别大探索
这里说明以下，为什么不整体都选择yolov8呢，v8无疑是比v5优秀的，但是atlas这块经过不断尝试没有过去，所以只能选择v5。那为什么跟踪模型选择yolov8呢，其实我这里要做的是实时视频的处理，我也不想使用deepsort那种带识别模型的笨重型跟踪框架，看了yolov8的代码，觉得相当可以，就选择了yolov8中的跟踪。原本我以为自己的水平是扣不出这块跟踪代码的，毕竟是网上大波大佬修改过的代码。连续加班了2个晚上后，终于扣出来了，过程是曲折的，结果是美好的。模型转化，pt模型转化为onnx，
2024-08-13 16:27:08
899
原创 unet改进笔记
改进2：基于图片拼接的数据增强，需要修改图片和标签，在utils/data_loading.py中__getitem__函数增加。改进3：训练图片分布的随机扰动，在utils/data_loading.py中__getitem__函数增加。调用方式，在utils/data_loading.py中__getitem__函数增加。改进5：MobileV3Unet，新增mobilenet_unet.py。改进6：VGG16UNet，新增vgg_unet.py。改进7：HNet，新增HNet.py。
2024-04-16 18:19:18
1428
2
CarFace-Detection-Adaboost.zip
2017-09-13
( libboost.zip )
2017-09-03
2014facebookDeepLearningforVision：TricksoftheTrade.pdf
2017-03-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人