快速部署本地知识库大模型（Langchain+ChatGLM3）

已于 2024-03-10 19:51:48 修改
阅读量985 收藏 9
点赞数 4
文章标签： langchain linux 运维 chatglm 大模型 gpt 知识库
于 2024-03-10 19:46:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011712163/article/details/136607369
版权

使用AutoDL AI算力云：AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL，注册后充值后进入控制台

点击租用新实例，选择机器和社区镜像langchain-chatchat如下

创建成功后进去JupyterLab

打开终端运行如下命令

$  cd /root/Langchain-Chatchat/

$  conda activate /root/pyenv

$   python startup.py -a

下载AutoDL-SSH-Tools工具，运行工具，将登录指令、密码复制到工具对应位置，开启代理，浏览器直接访问开启代理按钮下面的网址

视频地址：

https://www.bilibili.com/video/BV1xj421Z7ZD/?share_source=copy_web&vd_source=ca3526fd3d843179f4d8ddd45a96d962

https://www.toutiao.com/video/7343976340112343590/

goldmei88
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于本地知识库的大模型搭建教程
qq_45179513的博客
11-01 5536
基于本地知识库大模型搭建教程
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
然后，我们使用GGML格式的本地模型，直接从Hugging Face Models存储库下载bin文件，并将文件移动到根目录下的models目录中。 七、使用LLaMA-CPP-Python 为了使用LLaMA模型，我们需要使用 llama-cpp-python，这是...
喂饭级教程！零代码搭建本地个人知识库 ，支持GPT4、Llama3、Kimi等十几种大模型...
最新发布
算法channel
05-19 1024
你好，我是郭震这篇文章是关于搭建本地个人知识库，零代码！喂饭级教程！支持GPT、Llama3、Kimi等十几种大模型。教程由我编写，每一步已经过验证，可实践！1 搭建本地知识库优势部署本地知识库，可以借助大模型能力，自动检索我们的工作学习文档，实现对文档内容的实时搜索与问答。因为大模型、知识库和文档全部运行在本地，所以公司内的业务数据不会泄密，个人隐私不会泄密，保证这些同时，让：办公效率直接原地起...
本地基于知识库的大模型的使用教程
欢迎来到槐月初叁的博客
05-02 561
本地基于知识库的大模型的使用教程，使用qwen1.8B大模型
本地搭建大模型知识库Ollama+AnythingLLM（保姆级）
小码哥AI、互联网副业项目
04-28 1639
手把手教你搭建本地知识库Ollama+AnythingLLM（保姆级）
【大模型本地知识库搭建】ChatGLM3，M3E，FastGPT，One-API
Bowen_Ding_的博客
04-12 3560
本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。
本地ChatGLM3-6B接入知识库！让他拥有实时知识！0基础私有化部署！19/45
ouhuixiong的博客
12-13 1084
上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！当然，现在知识库还不能工作，因为现在还没有接入m3e嵌入模型，只能简单对话！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！下一篇，我们把嵌入模型部署好，并且接入部署one-api，直接做完成体！接入知识库，完全体！
ubuntu系统个人部署LangChain过程
入门菜鸟程序员的成长
02-20 693
如果模型目录名称和 MODEL_PATH 中的 key 或 value 相同，程序会自动检测加载，无需修改 MODEL_PATH 中的路径。修改里面的MODEL_ROOT_PATH的值，因为git创建好文件夹正好与文件下面的MODEL_PATH里的默认路径对上，所以只改这里就行了。下载huggingface的模型需要梯子，太费时间，可以去国产gitee上搜索相关模型，用国产链接下载。# 每个模型可以是一个单独的目录，也可以是某个目录下的二级子目录。具体参考官方的，这里额外记录一下官方文档里面没有写的。
【Langchain-Chatchat】部署ChatGLM3-6B-32K教程
太空眼睛的专栏
03-23 1268
以下列出需要修改的配置文件中的配置参数，根据参数名在配置文件在搜索。按照下列方式初始化自己的知识库和简单的复制配置文件。按照以下命令启动项目。
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知识库（完结篇）
黄煜的博客
01-29 1871
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知识库。
基于大模型构建本地知识库
热门推荐
qq128252的博客
06-05 1万+
支持的格式： 根据语义 目前来说，由于语义的不确定性，用规则会取得更好的效果，文本分句长度为800。语义检索的重要前提是Sentence Embeddings。可惜目前看到的绝大部分材料都是使用OpenAIEmbeddings。OpenAIEmbeddings 调用的mode_name=“text-embedding-ada-002” 排在第6位MTEB 排行榜 - MTEB 的拥抱面孔空间 (huggingface.co)对于中文模型在政府语料问题的匹配，在这里测试了ernie-base模型和tex
【大模型知识库】（2）：开源大模型+知识库方案，docker-compose部署本地知识库和大模型，毕昇+fastchat的ChatGLM3，BGE-zh模型，通过拖拽/配置方式实现大模型编程
freewebsys的专栏
12-16 5707
通过拖拽的方式可以实现模型的配置编程，可以快速的开发应用。或者提供对外接口，非常的方便。这个只是演示了配置chatglm3 接口的部分。持续研究中。
Langchain+Chatglm2实现基于自有知识库的智能问答.zip
10-30
1. 由于Elasticsearch可实现文本和向量两种方式混合查询，且在业务场景中使用更广泛，因此本项目用Elasticsearch代替Faiss作为知识存储库，利用Langchain+Chatglm2实现基于自有知识库的智能问答。 2. 内含容器化部署...
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
01-25
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。版本0.2.9版本。 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull ...
Langchain和ChatGLM代码包
04-28
Langchain和ChatGLM代码包
完全体！本地大模型+知识库大功告成！让知识库可以存知识！fastgpt部署m3e嵌入模型！20/45
ouhuixiong的博客
12-13 3227
在这个例子中，我们运行的是一个名为m3e-large-api的镜像，版本为latest。上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B/chatglm3-6b接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天跟着雄哥，把嵌入模型m3e，部署到GPU上，打造知识库完全体！
推荐三个搭建专有知识库+大模型智能助手开源项目
09-19 9038
“介绍三个开源项目Dify、FastGPT和LangChain-Chatchat。这些项目使用了各种前沿技术，具有模块化设计、易扩展性、Docker支持等特点,非常适合二次开发。无论是在应用中自动化任务，构建知识库，还是进行问答系统的搭建，都有着广泛的用途。”01—Dify官方地址：https://dify.ai/开源地址：https://github.com/langgenius/difyDi...
用通俗易懂的方式讲解大模型：基于 Langchain 和 ChatChat 部署本地知识库问答系统
2301_78285120的博客
12-30 4169
AI 知识库问答系统是一个很有前景的方向，它是对传统知识库系统的一种升级，相信在未来会有很多垂直领域的公司会用到这个技术。从 Langchain Chatchat 项目的发展过程上来看，项目从原来的一个 demo 级别的项目，逐渐向一个完整的产品迈进，在架构、UI 界面、LLM 集成方面也在不断完善，我相信这是一个未来可期的项目。而对于那些还在用老版本的小伙伴，建议尽快升级到新版本，因为项目团队以后的主要精力都会放在新版本的开发上，老版本的功能可能不会再更新了。
AI知识库进阶！三种数据处理方法！提高正确率！本地大模型+fastgpt知识库手把手搭建！22/45
ouhuixiong的博客
12-13 2683
通过一个实例理解基于字符分割和基于 Token 分割的区别可以看出token长度和字符长度不一样，token通常为4个字符五、分割Markdown文档5.1 分割一个自定义 Markdown 文档分块的目的是把具有上下文的文本放在一起，我们可以通过使用指定分隔符来进行分隔，但有些类型的文档（例如 Markdown ）本身就具有可用于分割的结构（如标题）”fastgpt默认有一段提示词预设，是程序的功能，你也可以根据自己的数据，更改提示词，这会影响大模型的结果，所以这就考验兄弟你的提示词工程功底了！
langchain+chatglm
08-19
Langchain和ChatGLM是一种本地知识库和对话语言模型的组合。Langchain是一个用于构建本地知识库的工具，而ChatGLM则是基于Langchain的一个对话语言模型。它们通常一起部署在一起，并且具有较高的耦合性。通过Langchain和ChatGLM的结合，可以实现一个基于本地知识库的问答系统。Langchain-ChatGLM项目是一个开源项目，可以在GitHub上找到相关的代码和文档。ChatGLM-6B是一种开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构，具有62亿参数。所以，Langchain和ChatGLM是一种用于构建本地知识库并进行问答的工具和模型的组合。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [LangChain + ChatGLM 实现本地知识库问答](https://blog.csdn.net/bruce__ray/article/details/131179563)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [chatglm+langchain](https://blog.csdn.net/qq_24729325/article/details/131515519)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值