ChatGLM-6B+LangChain与训练及模型微调教程

已于 2024-05-13 10:52:35 修改
阅读量1.6k 收藏 5
点赞数 1
文章标签： langchain
于 2023-09-03 21:12:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qfikh/article/details/132647128
版权
本文介绍了吴恩达教授关于LangChain+ChatGLM-6B的LLM应用开发实践教程，涉及如何使用Langchain-Chatchat项目，该项目是基于Langchain和类似ChatGLM的语言模型构建的本地知识库问答应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Ref:  讲解视频  

【官方教程】ChatGLM + LangChain 实践培训_哔哩哔哩_bilibili

吴恩达教授讲的【LangChain+ChatGLM-6B】LLM应用开发实践  LangChain_Intro_v02_哔哩哔哩_bilibili

代码：GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain

本地知识库问答项目讲解：

人鱼线
关注
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
学习实践ChatGLM-6B（部署+运行+微调）
LZL2020LZL的博客
04-07 1万+
该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。注：结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B可以实现的能力这是一个对话机器人，所以基本的问答，系统都支持。自我认知提纲写作文案写作邮件助手信息抽取角色扮演评论比较旅游向导。
ChatGLM-6B+LangChain实战
古月哲亭
07-13 7416
重写_call方法：加载自己的模型，并限制只输出结果（chatglm原输出不是直接str，langchain中要求模型返回必须是str的结果：“”“LLM wrapper should take in a prompt and return a string.”“”）step1：自定义一个GLM继承LangChain中的langchain.llms.base.LLM，load自己的模型.step2：使用LangChain的mapreduce的方法，对文本分块，做摘要，输出结果.
快速上手LangChain，大模型入门必看教程
最新发布
程序员鑫港的博客
03-06 1018
LangChain是一个基于大语言模型用于构建端到端语言模型应用的框架，它提供了一系列工具、套件和接口，让开发者使用语言模型来实现各种复杂的任务，如文本到图像的生成、文档问答、聊天机器人等。开发阶段：使用LangChain的开源构建块和组件构建应用程序，利用第三方集成和模板快速启动。生产化阶段：使用LangSmith检查、监控和评估您的链，从而可以自信地持续优化和部署。部署阶段：使用LangServe将任何链转化为API。
第10篇：使用LangChain库进行深度学习模型训练
Gemini的博客
06-25 1314
LangChain库是一个功能强大的Python库，专门用于简化和加速深度学习模型的训练过程。它提供了一系列高效的工具和模块，使得从数据准备到模型评估的整个流程更加流畅。接下来，我们定义一个简单的深度学习模型。这里以一个简单的多层感知机（MLP）为例。"""定义并构建深度学习模型:param input_shape: 输入特征的维度:param num_classes: 输出类别数:return: 构建的模型"""print("模型定义成功")# 使用示例"""
ChatGLM系列七：LangChain+ChatGLM-6B
永胜的博客
10-27 629
在开发过程中，我们经常会遇到需要构建基于本地知识库的问答系统的问题。这种系统需要能够根据用户提供的问题，在本地的知识库中查找并返回相关答案。然而，要实现这样的功能并不容易，涉及到语言模型的选择、知识库的管理以及问答的匹配和检索等核心问题。
【LLM_02】LangChain知识库+Lora微调chatglm2-6b模型+提示词Prompt的使用原则
08-04 1万+
Prompt是给AI的指令，引导模型生成符合业务场景的响应输出。
01 ChatGLM-6B部署与微调教程
qq_33169644的博客
03-07 1561
ChatGLM-6B部署与微调教程
【大语言模型】10分钟快速了解并部署ChatGLM-6B
小哲的博客
06-25 1562
ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。ChatGLM-6BChatGLM-6B具备的能力自我认知：“你是谁”，“介绍一下你的优点”提纲写作。
LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南！
chatKnowhow的博客
07-12 1369
项目资源来源链接。
chatglm+langchain
人上人酿酒师的博客
07-03 3113
Langchain + chatglm 本地QA 过程
ChatGLM-6B 的部署与微调以及过程中涉及知识总结(7.26更新)
fireshark
06-13 5341
最近因为工作关系，接触到ChatGLM-6B，自己部署做了一些测试。参考了网上很多优秀的资料，在此基础上，补充一些自己实践中发现的细节。部署内容部分绝大部分来自：https://zhuanlan.zhihu.com/p/627168140微调部分借鉴：https://zhuanlan.zhihu.com/p/625468667细节问题参考：https://zhuanlan.zhihu.com/p/624918286！
本地化部署/LangChain与ChatGLM3-6B集成/大模型备忘录（三）
weixin_62081337的博客
05-06 1466
Conda安装langchain Conda安装jupyter并打开 找到api_serve.py文件打开点击下载模型，获得git clone的下载方式，回到MobaXterm进行下载 下载成功 export补充路径 执行一遍 心跳词嵌入 模型chatgml3-6b 推理返回上面的代码说明基本部署完成，重新python api_server.py文件成功，监听了一个端口8000打开jupyter，输入以下代码： 1. `from langchain.chai
chatchat加载ptuning指南 训练语言模型（PLM） 高效微调（PEFT） langchain fastchat chatchat peft文件夹修改 代码修改
万有文的博客
04-19 1015
P-tuning虽然是一种peft方法，但并不能于huggingface的peft python包兼容，而fastchat在多处以字符串匹配的方式进行硬编码加载模型，因此导致fastchat和chatchat不能兼容p-tuning，经langchain-chatchat开发组多次尝试，给出如下指南进行p-tuning加载。P-tuning 是一种针对预训练语言模型（PLM）的参数高效微调（PEFT）方法，它允许我们仅调整少量的参数来实现高效的模型调整。
【智能时代的创新工具】LangChain快速入门指南：轻松掌握语言模型的集成与运用
sinner小屋
08-01 1123
随着人工智能技术的飞速发展，语言模型在自然语言处理、对话系统、文本生成等多个领域中发挥着越来越重要的作用。LangChain作为一种创新的集成工具，为开发者提供了一个强大的平台，使得语言模型的应用变得更加便捷和高效。LangChain的核心优势在于其灵活性和可扩展性，它不仅支持多种语言模型，还支持链的构建和自定义组件的添加。这意味着开发者可以根据自己的需求，轻松地将不同的模型和功能组合在一起，以实现更复杂和高级的应用场景。
使用LangChain快速搭建自己的大模型产品
weixin_40566713的博客
05-24 843
【代码】使用langChain快速搭建自己的大模型产品。
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
人工智能讲师分享前沿技术
12-18 452
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。一.Baichuan2模型  Baichuan2模型在通用、法律、医疗、数学、代码和多语言翻译六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。2.中间Checkpoints。二.模型推理1.Chat模型。一.Baichuan2模型。
langchain入门及两种模型的使用
程序员一博
12-05 3784
LangChain是一个基于语言模型开发应用程序的框架官网中文官网Langchain基于文档数据的问答聊天机器人代理python langchain中有六大核心模块，分别是模型输入输出 ( Model I/O )：与语言模型进行接口对于模型，LangChain中可以使用不同类型的模型LLMs大型语言模型（LLMs)是将文本字符串作为输入，并返回文本字符串作为输出。聊天模型聊天模型将聊天消息列表作为输入，并返回聊天消息。检索：与特定于应用程序的数据进行接口管道：构建调用序列。
使用langchain打造自己的大型语言模型(LLMs)
热门推荐
weixin_42608414的博客
03-13 3万+
今天我们用LangChain对接了大型语言模型(LLMs), 并让LMMs可以针对性的学习用户给定的特定数据，这些数据可以是文本文件，数据库，知识库等结构化或者非结构化的数据。当用户询问的问题超出范围时，机器人不会给出任何答案，只会给出相关的提示信息显示用户的问题超出了范围，这样可以有效限制机器人自由发挥，使机器人不能让它随便乱说。
chatglm2-6b微调加上langchain
09-05
根据引用和引用的内容，可以使用ChatGLM-6B模型结合langchain实现对话中的本地知识库链接。ChatGLM-6B模型在多轮对话和长答案生成方面可能存在上下文丢失和理解错误的情况，为了解决这个问题，可以通过微调ChatGLM-6B模型并使用langchain来加强其多轮对话能力。具体操作是将ChatGLM-6B模型的路径替换为经过P-Tuning微调后的checkpoint地址，从而使得模型能够在多轮对话中进行适当的回复。请注意，目前的微调还不支持多轮数据，所以只有对话第一轮的回复是经过微调的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [ChatGLM2-6B的P-Tuning微调](https://blog.csdn.net/weixin_43815222/article/details/131553200)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战](https://blog.csdn.net/dream_home8407/article/details/130099656)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值