在本地 PC 上构建本地聊天机器人100%离线，基于 Langchain、LLama Streamlit 的小于 1 GB 的大型语言模型（支持apple macos m1 m2 window11）

已于 2023-07-31 11:26:42 修改
阅读量498 收藏 2
点赞数
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： 机器人 langchain llama
于 2023-07-30 11:23:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iCloudEnd/article/details/132003700
版权
本文介绍了如何在本地PC（支持macOS M1/M2及Windows 11）上使用Langchain和LLama Streamlit构建小于1GB的大型语言模型LaMini-Flan-T5-248M，实现100%离线的聊天机器人。内容包括设置虚拟环境、模型下载、概念验证、完整POC代码以及问题解决。
摘要由CSDN通过智能技术生成

挑战

最大的语言模型的大量计算要求对于中小型企业或个人用户来说可能是令人畏惧的。尽管它们的性能令人印象深刻，但这些模型的尺寸使其部署起来充满挑战，特别是在带宽或硬件受限的环境中。

然而，值得注意的是，目前有一系列的法学硕士可供选择，其中一些旨在平衡性能和规模，使其非常适合本地部署。

这些本地部署模型的另一个重要方面是它们离线工作，不与其他公司共享数据。

本文将指导您完成并深入了解如何利用大小低于 1GB 的 LLM 构建有效的本地 ChatBot。

  • 设置（虚拟环境、Python 包、依赖项……）
  • LaMini-LM 模型下载
  • 概念验证：测试模型的质量
  • 集成到 Streamlit
    请添加图片描述
    选择正确的型号
    人们已经开发了大型语言模型的几个较小版本，并减少了参数，旨在在很大程度上保持其较大版本的性能。例如，DistilGPT（较大 GPT 模型的蒸馏版本）和Microsoft 的MiniLM等模型以原始模型大小的一小部分提供了令人印象深刻的语言理解能力。

例如，DistilGPT 保留了 GPT 的大部分功能，但

了解本专栏 订阅专栏 解锁全文
知识大胖
关注
专栏目录
订阅专栏
苹果大模型系列之Apple MLX 与 Llama.cpp 对比 Hugging Face Candle Rust，实现本地闪电般快速的LLM
iCloudEnd的博客
06-28 383
在 NLP 部署方面，推理速度是一个至关重要的因素，特别是对于支持 LLM 的应用程序而言。随着 Apple M1 芯片等移动架构数量的不断增长，评估 LLM 在这些平台上的性能至关重要。在本文中，我比较了三个流行的 LLM 库（MLX、Llama.cpp和Hugging Face 的Candle Rust）在Apple M1 芯片上的推理/生成速度。旨在方便开发人员选择最合适的库在本地机器上部署 LLM，同时考虑性能、实现的便利性以及与可用工具和框架的兼容性。
chatterbot mysql_离线聊天机器人
weixin_34731836的博客
01-21 608
聊天机器人一、语音识别MASR是一个基于端到端的深度神经网络的开箱即用的中文普通话语音识别工具。1.1使用docker安装docker使用起来就像虚拟机一样，同时有着原生的性能。使用docker来运行masr非常方便。在虚拟机中docker部署时产生了一系列的问题，内存不足，failed language path,于是安装在了服务器上。已经pull了libai3/masr-env:latest，...
本地离线部署Ai大模型的三种方案，含安装教程！
专注于分享人工智能精品资源：Ai副业项目、Ai效率神器！
05-26 5261
在GPU下运行：docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama。：虽然初期的硬件投资较高，但长期使用本地部署可能比持续支付云服务的使用费用更为经济，特别是在处理大量数据或频繁使用时。本地处理可以避免这些问题，提高处理效率。
基于大语言模型的本地知识库问答（离线部署）
m0_63171455的博客
07-02 1049
在LLM的加持下，知识库问答的实现变得非常简单。而且现在有诸如langchain、Llamaindex之类的框架集成了许多与LLM相关的操作。另外现在LLM的开源社区非常活跃，出现了诸如Llama2、mistral-7b等优秀的开源LLM。不管是参数量、资源消耗、训练速度等都降低到在消费级显卡上完成。
调用本地大模型实现聊天机器人ChatBot
qiaotl的博客
11-17 1309
通过实际代码演示介绍如果调用本地部署的大模型实现ChatBot
本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
deephub
06-26 9818
通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。作者：Afaque Umer。
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
苹果大模型系列之 使用 MLX 在 macOS 上通过 LLM 微调构建自己的 LLM，在 Mac M2 上，训练过程大约需要 36 分钟（教程含详细步骤与代码）
iCloudEnd的博客
06-28 390
在我之前的系列文章LlamaIndex中，我讨论了使用、LangChain等工具构建 RAG 应用程序，GPT4All, Ollama以利用 LLM 满足特定用例。在这篇文章中，我将探讨另一种称为 LLM 微调的方法。我使用名为的工具在 macOS 上对 Meta 的 LLaMA-3 和 Mistral LLM 进行了微调MLX，该工具是专为 Apple 芯片上的机器学习研究量身定制的数组框架。这种微调是使用一种名为的技术完成的Low Rank Adapters(LoRA)。
苹果大模型系列之 从头开始在 Apple Silicon 上进行 ComfyUI(教程含完整步骤)
iCloudEnd的博客
07-18 833
如何在搭载 Apple Silicon 的 MacBook Pro 上安装 ComfyUI，并开始使用 Stable Diffusion 创作 AI 生成的艺术作品。无需开发技能。在安装了 Python 3.9 的 M1 MacBook Pro 和安装了 Python 3.10 的 M1 Max MacBook Pro 上进行了测试，均使用 macOS Sonoma 14.1.2。
本地电脑大模型系列之 02 利用边缘人工智能，使用 Ollama、Qdrant 和 Raspberry Pi 构建 RAG 系统
iCloudEnd的博客
06-14 213
利用紧凑且经济高效的 Raspberry Pi 来托管embedding models和(LLM) 用于检索增强生成 (RAG) 系统vector database，language models提供了经济实惠、便携性和节能的独特组合。这种方法不仅通过提供低成本的实验和学习平台实现了对高级 AI 功能的民主化访问，而且还实现了边缘计算解决方案，通过在本地处理数据来减少延迟和带宽使用。
Python库 | streamlit-webrtc-0.8.0.tar.gz
04-15
资源分类：Python库 所属语言：Python 资源全名：streamlit-webrtc-0.8.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
streamlit-0.69.2-py2.py3-none-any.whl
10-24
streamlit-0.69.2-py2.py3-none-any.whl pypi可以免费下载
离线使用Langchain-Chatchat大语言模型本地知识库一键整合包，还支持联网在线搜索问答，使用知识库问答
代码讲故事
02-26 1870
离线使用Langchain-Chatchat大语言模型本地知识库一键整合包，还支持联网在线搜索问答，使用知识库问答。 🤖️Langchain-Chatchat是一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 💡Langchain-Chatchat建立了全流程可使用开源模型实现的本地知识库问答应用，使用基于 Streamlit 的 WebUI 进行操作。
️ LangChain +Streamlit+ Llama ：将对话式人工智能引入您的本地设备（下篇）
最新发布
chajinglong的专栏
08-02 383
文本框里边提问：下面是跑的结果，跟你训练的数据有关系，数据量太小的话，有可能造成幻读，大家可以多跑一些数据，测试一下效果，毕竟cpu电脑跑数据还是挺差劲的，太慢了！目的：在这个大模型横行的时候，我们常用电脑如何开展大模型的工作，上篇文章已经提到，那么这篇文章我教大家怎么去实践。2、本文引入的大模型地址下载：llama-7b.ggmlv3.q3_K_S.bin。好了，今天就先到这里，如果有什么不懂的？可以私聊一下老师，欢迎大家一键三连啊！6、上传txt文件（Tips，目前英文的，中文报错，大家可以调试）
本地推理,单机运行,MacM1芯片系统基于大语言模型C++版本LLaMA部署“本地版”的ChatGPT
2301_77550592的博客
07-12 1212
LLaMA 7B模型总体上需要纯英文的提示词（prompt），对中文的理解能力还不够，优势是确实可以单机跑起来，当然本地跑的话，减少了网络传输数据的环节，推理效率自然也就更高，对于普通的AI爱好者来说，足矣。
LangChain+ChatGLM整合LLaMa模型（二）
weixin_45067120的博客
08-03 2362
在Langchain-ChatGLM/configs/model_config.py中llm_model_dict添加。LLAMA-7B（中文提问当作翻译回答了…看来训练的中文语料不太行，但是英文也算是答对了）具体为什么LLaMa为什么这样回答，等待后续。LLaMa模型GitHub地址。
5分钟本地部署各种大模型，还可以和langchain一起玩
python1234567_的博客
07-28 353
本地跑大模型的成本越来越低了，而且不是说一定需要有 GPU 才可以跑，现在很多模型都是可以直接用 CPU 来跑的，区别是有 GPU 加持的话，推理速度会快很多，每分钟输出的 token 数也会多很多，而且现在在本地搭建大模型并且跑起来实在是太方便了。你机器上安装了 Docker 的话，直接无脑2个docker启动命令就可以搞定，完全傻瓜式的，极大了降低了小白探索大模型的难度。如何云上部署？独乐乐不如众乐乐？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值