- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Langchain 流式输出到前端（真正解决方法，附最佳实践的完整代码）
当我们深入使用Langchain时，我们都会考虑如何进行流式输出。尽管官方网站提供了一些流式输出的示例，但这些示例只能在控制台中输出，并不能获取我们所需的生成器。而网上的许多教程也只是伪流式输出，即先完全生成结束，再进行流式输出。实际上，这个方法非常简单，但是在文档和网上教程中确实很难找到。我花费了半天的时间研究了Langchain的源码，才发现可以通过以下方式实现。方法来之不易，如果您有所收获，请。
2023-09-10 14:11:45
16979
39
原创 全新RAG框架 LinearRAG:无需关系抽取，高效又精准！超越GraphRAG和LightRAG!
摘要：LinearRAG提出了一种无需关系抽取的新型RAG框架，通过构建Tri-Graph（实体-句子-段落三层结构）实现高效检索。相比传统GraphRAG，它避免了错误三元组带来的噪声问题，采用两阶段检索策略（局部语义桥接+全局重要性聚合），在保持多跳推理能力的同时显著提升效率。实验显示其索引时间减少77%以上，在多个基准测试中超越现有方法。该框架具有轻量、抗噪、线性扩展等优势，为大规模知识库应用提供了更优解决方案。GitHub项目已开源。
2025-11-21 21:55:33
823
原创 国产开源神器！GPT Server：一站式部署大模型全家桶，兼容 OpenAI 接口！
简单来说，GPT Server是一个提供标准 OpenAI 风格 API 的多模态大模型服务。无论你是想做文本生成embeddingreranker语音转文字图片生成，还是内容审核，它都能通过一套统一的接口搞定，极大降低了集成难度。✅ 完全兼容 OpenAI 客户端调用方式✅ 支持多种高性能推理后端✅ 多个模型共享一个端口，自动调度✅ 持续更新，紧跟最新模型发布节奏如果你正在为如何快速部署 Qwen、DeepSeek 等主流大模型或者embeddingreranker语音转文字图片生成。
2025-11-15 19:53:45
547
原创 AI 智能体的终极记忆方案？来认识一下 Graphiti
Graphiti：专为AI Agent设计的动态知识图谱框架 Graphiti是Zep平台推出的新一代开源图框架，专为AI智能体的记忆系统设计。与传统RAG技术相比，Graphiti具有以下核心优势： 实时增量更新能力：可即时处理新增数据，无需批量重算 双时间维度模型：同时记录事件发生时间和系统录入时间 混合检索机制：结合语义、关键词和图路径进行精确查询 自动失效机制：能智能识别并标记过时信息 高度可定制化：支持自定义实体类型建模 该框架尤其适合需要处理频繁变化数据的场景，如客户服务、医疗记录等。测试表明，
2025-11-11 21:58:34
758
原创 CodeAct：超越React Agent架构的新范式（附代码）
摘要 本文介绍了一种新型AI智能体架构CodeAct，它通过让大语言模型直接编写和运行Python代码来完成任务，相比传统JSON函数调用或纯文本指令方式具有显著优势。CodeAct利用Python解释器实时执行AI生成的代码，支持多轮交互调试，能够更灵活地组合多个工具操作。文章对比了传统方式和CodeAct的区别，并提供了基于langchain-codeact库的具体实现示例，包括工具定义、代码执行逻辑和运行流程。这种架构特别适合需要复杂任务组合的场景，为AI智能体开发提供了新思路。
2025-11-09 16:24:27
873
原创 大模型推理提速神器！LMCache让AI响应快如闪电
LMCache：大模型推理加速黑科技 LMCache是一款开源工具，通过智能缓存技术显著提升大模型推理速度。它突破传统KV Cache仅支持前缀缓存的限制，实现任意位置的内容复用，支持跨实例共享和三级智能调度。实测结合vLLM使用时，在多轮QA和RAG场景下可获得3-10倍的延迟优化和GPU资源节省。 LMCache采用字节级连续匹配、动态分块和写时复制等创新技术，有效解决长文本场景下的重复计算问题。开发者可通过简单配置为vLLM启用该功能，显著改善AI服务的响应速度。 项目已集成至开源框架GPT Serv
2025-11-07 16:21:49
759
原创 为什么需要 Continuous Batching（连续批处理）？
GPU无法实现类似CPU的多任务抢占式调度，主要受限于其架构特性：1）SIMT执行模型要求线程组同步执行；2）缺乏快速上下文切换机制；3）显存管理限制导致模型权重无法频繁切换。这迫使大模型推理系统采用静态批处理等妥协方案，造成已完成请求的资源浪费。现代解决方案如动态批处理、连续批处理等技术正尝试在GPU硬件约束下，通过token级调度来模拟多任务并发，提高资源利用率。
2025-11-05 15:46:51
371
原创 一键把 vLLM / SGLang / Ollama …全绑在一起！开源神器 OpenAI-Router
摘要：OpenAI Router是一款开源工具，可统一管理vLLM、Ollama等不同AI服务的API接口。它能将分散在不同端口的服务打包成OpenAI兼容接口，支持实时流式传输和零配置持久化存储。通过简单三步安装配置后，用户无需修改现有代码，只需更改base_url即可调用不同模型。该项目提供Gradio管理界面，支持多后端组合和全功能API转发，显著简化了多模型服务的管理流程。开源地址：https://github.com/shell-nlp/openai_router。
2025-11-04 21:10:51
338
原创 ES入门教程 (python 版)
本文介绍了Elasticsearch(ES)的基本操作和查询方法。主要内容包括：1)创建ES对象和索引管理；2)数据增删改操作；3)多种查询方式如match_all、模糊查询、短语匹配、精确查询、范围查询等；4)复合查询和多条件查询；5)排序、分页和字段过滤等实用功能。通过示例代码演示了如何使用Python客户端进行ES操作，涵盖了从基础到进阶的常见使用场景，是ES初学者的实用入门指南。
2025-08-18 14:33:26
404
原创 F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
2022-11-06 13:09:16
6115
原创 修改huggingface 模型output_hidden_states=True时，CUDA out of memory问题。
在使用huggingface 提供的Trainer进行模型预测时，如果训练时output_hidden_states=True，则显存占用会无限增加，最终导致CUDA out of memory 内存溢出错误。在模型的最终返回值处，把hidden_states 设置为None 即可，具体原因我也不清楚。
2022-10-07 16:33:32
1484
原创 Bert实现命名实体识别NER任务 Trainer类实现
Bert实现命名实体识别任务使用Transformers.trainer 进行实现1.加载数据加载数据以及数据的展示，这里使用最常见的conll2003数据集进行实验task = "ner" # Should be one of "ner", "pos" or "chunk"model_checkpoint = "distilbert-base-uncased"batch_size = 16from datasets import load_dataset, load_metric,Data
2022-05-13 20:41:29
5880
7
原创 关于Transformers库预训练模型输入的一些细节问题
输入是否需要添加开始标志[bos]、bos等特殊标志？结论：开始标志[bos]不需要手动添加，模型自动帮你添加，结束标志[eos]必须添加具体原因可以往下看1.输入是否需要添加开始标志[bos]、bos等特殊标志？在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加 开始标志[ bos ]和 结束标志[ eos ],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标志[ eos ]，并且解码的输入开始标志[ bos ]，以确保模型不看到第一个真实的词。
2022-04-14 09:58:48
1397
原创 问答系统案例----基于Bert实现知识库问答
问答系统案例----基于Bert实现知识库问答基于Transformers.Trainer实现任务描述:知识库问答也叫做知识图谱问答，模型结合知识图谱，对输入的问题进行推理和查询从而得到正确答案的一项综合性任务。知识图谱问答方法可分为两大类，一种是基于信息检索的方式，一种是基于语义解析的方式。信息检索的方式不需要生成中间结果，直接得到问题答案，十分简洁，但是对复杂问题的处理能力有限。语义解析的方式需要对输入的自然语言问题进行语义解析，再进行推理，具备解决复杂问题的能力。本教程选用信息检索的方式进行讨论
2022-04-10 22:03:28
5394
原创 重构预训练模型后加载参数
# 加载相同state_dictdef load_same_state_dict(myself_model: nn.Module, pretrain_model: nn.Module): pretrain_dict = pretrain_model.state_dict() myself_dict = myself_model.state_dict() # 当模型中的某层是同时在两个模型中共有时才取出 pretrain_dict = {k: v for k, v in p
2022-03-27 18:22:08
458
原创 多头注意力机制的通俗式理解
各位都很忙，废话不多说直接上图。首先 Q K V 均来自同一个数据，假设 我们有同一个 输入数据 a,则Q = Linear（a）K = Linear（a）V = Linear（a）其中，三个 Linear（·）并非同一个，拥有不同的参数。Q 代表 query – 查询， K 代表 key – 键， V 代表 value – 值我们目的 是从同一个 数据 a 中生成 含义为： 查询 某一个 键 对应的 权重，然后使用这个 权重 乘以 值 得到 经过权重分配后的 数据
2021-11-19 10:43:11
5699
原创 华为移动应用引擎 虚拟化异常解决办法
直奔主题，虚拟化设置异常，特别是Win10需要关闭 Hyper-V， Hyper-V是微软自家的虚拟机。Hyper-V 会导致 虚拟化被占用，导致华为移动引擎无法正常和cpu虚拟化进行通信。解决办法：控制面板——>程序——>启动或关闭Windows功能取消掉 Hyper-V前面的 选中 再点击 确定 即可 随后会经理一个重启过程。...
2021-09-14 16:00:46
14863
7
原创 零售商品销售预测
研究、设计内容：在电子商务业务蓬勃发展的同时，零售业遭遇了寒潮。电子商务的冲击、瞬息万变的经济环境、难以捉摸的销售情况和日益冷清的大型卖场，都给零售业带来了重重困难。进入数字时代后，数据的有效使用成为零售企业颠覆传统的动力，也势必将改变零售业的格局。沃尔玛等大型零售商都积极第将数据分析与商业结合，创造了额外的经济收益。某大型零售商的数据科学家收集了不同城市10家商店1539种商品在2013年的销售数据，还定义了每个产品和商店的某些属性。本课题将的目的是建立一个销售预测模型，使得公司可以预测每个产品在特
2021-07-01 19:42:59
3740
11
原创 机器学习答案
机器学习答案选择题自行尝试答案 这里粘贴部分答案线性回归第2关 线性回归的正规方程解#encoding=utf8 import numpy as npdef mse_score(y_predict,y_test): ''' input:y_predict(ndarray):预测值 y_test(ndarray):真实值 ouput:mse(float):mse损失函数值 ''' #********* Begin ********
2021-06-26 16:51:32
12221
7
原创 交叉熵损失理解（代码对比版）
import torchfrom torch.nn.functional import cross_entropyimport numpy as npimport randomdef fix_random_seed(seed): # 设置 seed保证每次初始化相同 np.random.seed(seed) torch.manual_seed(seed) random.seed(seed) torch.backends.cudnn.determinist.
2021-06-21 17:20:14
430
原创 Attention机制理解（参考代码和理论）
Attention机制(全局和局部attention)1 .Luong Attention（全局attention）基于注意力机制的解码解码器RNN一个词语一个词语地产生回复句子，它利用编码器得到的上下文向量以及每个时间步的隐向量来产生句子的下一个词语。它一直产生词语直到产生句子结束符号EOS_token。仅仅使用标准RNN做解码器，会使得模型丢失掉丰富的编码端信息，因为整个句子的信息都被保存到一个上下文向量中。考虑到人们在对话时，回复语句中的每个词语会和输入语句中的不同部分的词语相关，那么在模型解
2021-03-04 20:22:42
2502
1
原创 深度学习 pytorch 困惑度计算方法
以下是我 编写的 计算 困惑度 PPL的 代码根据困惑度的定义：PPL=ecross_entropyPPL=e^{cross\_entropy}PPL=ecross_entropy其中cross_entropycross\_entropycross_entropy 就是交叉熵损失 因此只需要对 交叉熵损失求exp()注意：F.cross_entropy的参数 reduction必须要为 mean 即默认 就为 Meanfrom torch import Tensorimport numpy a
2021-01-21 23:27:39
4239
1
原创 国内真正的免费GPU算力（学习人工智能的福利）
国内免费GPU算力1. 百度：飞桨PaddlePaddlehttps://ai.baidu.com/support/news?action=detail&id=981点击打开 每天送12小时 连续五天送48小时2. 华为: ModelArtshttps://activity.huaweicloud.com/2020ModelArts_Promotion.html?ch=1点击打开免费规格用...
2020-08-23 21:28:02
16611
原创 Linux安装MySQL无法连接navicat等IDE工具解决办法（新手）
Linux安装MySQL后 在root权限下不需要输入密码 但是Navivat无法正常连接 解决办法：为MySQL数据库创建个普通用户 (例如 admin )并为普通用户设置密码 然后授予用户admin所有权限 连接navicat时只可以使用普通用户 (因为Navicat 软件无法获取管理员权限 所以无法正常连接)...
2018-12-21 15:34:55
1309
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人