大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）

已于 2024-02-27 10:35:03 修改
阅读量1.4k 收藏 20
点赞数 16
分类专栏： 大语言模型LLM 文章标签： 语言模型 langchain 人工智能 自然语言处理 深度学习 python 神经网络
于 2024-02-27 09:49:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39813001/article/details/136312693
版权

文章目录

大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）

引言

随着人工智能技术的飞速发展，大语言模型已成为推动自然语言处理（NLP）领域创新的关键力量。近年来，像LangChain和ChatGLM3-6B这样的大模型以其强大的语言理解和生成能力，逐渐渗透到搜索引擎、智能助手、文本生成和知识问答等多个应用场景中。然而，随着模型参数规模的不断扩大，推理速度与资源消耗的问题愈发凸显。推理加速技术不仅能够显著降低响应时间，提高用户体验，还能降低运行成本，对于大规模部署和实时交互应用至关重要。

LangChain框架下的推理优化

LangChain的核心理念与功能特点

LangChain是一个旨在实现语言模型和服务高效互联的开放框架，它提倡模块化、可组合和分布式计算的理念，允许开发者将不同语言模型和知识来源连接起来，形成一套高效、灵活的知识推理生态系统。

分布式计算与知识图谱集成优化推理路径

在LangChain框架中，通过整合分布式计算能力，可以将复杂的推理任务分解并在多个节点

了解本专栏 订阅专栏 解锁全文 超级会员免费看
North_D
关注
专栏目录
订阅专栏
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 1346
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
Langchain-Chatchat实践详解
11-09 9852
本质上是在Langchain基础上封装的一层服务，可以对接底层多种离线LLM和在线的LLM（也可以对接自定义的在线LLM）。提供基于知识库聊天功能相关的一系列API。server/model_workers下面添加线上API的具体定义，可以参考目录下其它线上API定义。generate_stream_gate里面定义具体的接口对接代码。server_config.py中 FSCHAT_MODEL_WORKERS下面新增api绑定端口。
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
积跬步，至千里。
12-08 7644
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现的大语言模型本地知识库应用项目。
fastllm在CPU上推理ChatGLM2-6b，即使使用CPU依然推理速度很快，就来看这篇文章
人工智能
03-30 1000
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现，无第三方依赖的高性能大模型推理库。
【ChatGLM3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度1.1万 tokens/s，真的超级快，高并发
freewebsys的专栏
12-05 5060
速度确实非常快，但是目前看接口中只有一个 generate 接口。后续可以通过进行优化。没有 /v1/chat/completions 聊天接口。代码是 c++ 的效率是正高。下一个研究项目 candle ： 目前已经 10K 星星。
“全网最全”LLM推理框架集结营 | 看似微不足道，却决定着AIGC项目的成本、效率与性能!
WZZ18191171661的博客
04-18 4470
TensorRTLLM包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。它还包括一个与NVIDIA Triton推理服务器集成的后端；为LLM服务的生产质量体系。使用TensorRT LLM构建的模型可以在各种配置上执行，从单个GPU到具有多个GPU的多个节点（使用Tensor并行性和/或管道并行性）。
LLM大语言模型（四）：在ChatGLM3-6B中使用langchain
hugo_lei的博客
01-01 4882
本文介绍了在ChatGLM3-6B中使用LangChain的案例。
LLM大语言模型（十二）：关于ChatGLM3-6B不兼容Langchain 的Function Call
hugo_lei的博客
04-24 1704
ChatGLM3-6B适配LangChain的Function Call.
本地化部署/LangChain与ChatGLM3-6B集成/大模型备忘录（三）
weixin_62081337的博客
05-06 1343
Conda安装langchain Conda安装jupyter并打开 找到api_serve.py文件打开点击下载模型，获得git clone的下载方式，回到MobaXterm进行下载 下载成功 export补充路径 执行一遍 心跳词嵌入 模型chatgml3-6b 推理返回上面的代码说明基本部署完成，重新python api_server.py文件成功，监听了一个端口8000打开jupyter，输入以下代码： 1. `from langchain.chai
chatglm3-6b 可跑通的数据
04-01
chatglm3-6b 可跑通的数据，win 本地部署ChatGLM3-6B微调及推理过程， 部署到gradio_demo,使用webui来调试和调用
fastllm在CPU上推理ChatGLM3-6b，即使使用CPU依然推理速度很快，就来看这篇文章
人工智能
03-30 1066
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现，无第三方依赖的高性能大模型推理库。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1363
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
机器学习周志华学习笔记-第6章＜支持向量机＞
最新发布
ydl1128的博客
11-23 331
机器学习周志华学习笔记-第6章
yolov5训练pt模型转换为rknn模型_部署在RK3588上--整个流程
m0_60657960的博客
11-22 217
3.将onnx模型使用rknn-toolkit2中onnx文件夹的test.py转换为rknn模型；预训练模型yolov5s.pt，需要我们自行下载，在releasesl链接中找到。2.将pt模型使用yolov5工程中的export.py转换为onnx模型；4.在板子上使用rknpu2工具调用rknn模型，实现NPU推理加速。1.使用正确版本（v5.0）的yolov5进行训练得到pt模型；1、一块RK3588的开发板（上面是Ubuntu环境）2、PC电脑（上面是Ubuntu环境）
挑战 Cursor，Codeium 推出下一代 AI IDE Windsurf
weixin_44058951的博客
11-23 504
windsurf 强调人类开发者与 AI 之间的深度协作，windsurf 不仅既可以作为副驾驶（Copilot）与你协作，也可以作为独立代理（Agent）独立处理复杂任务，适应你的编码需求。自从 AI 的出现，在 IDE 的领域，不断的有新的带有 AI 性质的 IDE 出现，这不 Codeium 公司在前几天又推出了一款新的 AI IDE windsurf。虽然编程领域的 AI 工具层出不穷，但是，编程终归是一个复杂的事，如今的 AI 工具仍然存在很多不足的地方。下面来说说它的特色。
更新创新流程：桥梁表面建造材料分割检测
shanqunss的博客
11-20 862
本项目数据集信息介绍本项目所使用的数据集专注于桥梁表面建造材料的分割检测，旨在改进YOLOv11模型在材料识别和分割任务中的表现。数据集包含两种主要的材料类别：混凝土（Concrete）和钢材（Steel），这两种材料是现代桥梁建设中最常见的构成部分。通过对这两种材料的精确分割与检测，系统能够有效识别桥梁表面的不同构造，进而为桥梁的维护与管理提供重要的支持。在数据集的构建过程中，采用了多种数据采集技术，包括高分辨率图像拍摄和激光扫描，以确保所收集的样本具有足够的多样性和代表性。
【大模型-智能体】AutoGen简介
zhaoyaxuan001的博客
11-22 224
AutoGen是一个功能强大、灵活且易于使用的工具，其能够帮助开发者创建基于大语言模型的复杂应用程序。通过提供模块化设计、高级抽象层、多Agent方法以及可视化和调试工具等特性，显著降低了开发复杂度、提高了开发效率，并拓宽了应用范围。
深度学习的实践层面
m0_60541499的博客
11-19 739
在训练神经网络时，超参数选择是一个高度迭代的过程。我们通常从一个初步的模型框架开始，进行编码、运行和测试，通过不断调整优化模型。数据集一般划分为三部分：训练集、验证集和测试集。常见的比例是60%用于训练，20%用于验证，20%用于测试。然而，当数据量非常大时，验证集和测试集的比例会相应减小。验证集的目的是帮助选择最优模型，而测试集用于评估最终模型的泛化能力。对于百万级数据集，验证集和测试集可以相对较小，通常验证集选取1万条数据，测试集选取1000条数据即可。
chatglm2-6b langchain
09-05
ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，它的性能更强悍。之前我们教过使用LangChain和ChatGLM-6B来实现个人专属知识库，而现在我们可以使用ChatGLM2-6B来构建个人专属知识库。要使用ChatGLM2-6B和LangChain，你需要进行一些配置，包括修改configs/model_config.py文件中的embedding_model_dict和llm_model_dict参数。在llm_model_dict中，你需要将LLM名称改为chatglm2-6b，并在pretrained_model_name中指定ChatGLM2-6B的模型路径。完成配置后，就可以启动项目并使用chatglm2-6b和LangChain来进行对话了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [LangChain + ChatGLM2-6B 搭建个人专属知识库](https://blog.csdn.net/sj5590155/article/details/131720160)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

North_D

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值