十二、部署自已的企业大模型

于 2024-09-04 15:27:07 发布
阅读量253 收藏
点赞数
分类专栏： AIGC实战 文章标签： chatGLM 大模型 langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vandh/article/details/141894596
版权

基于LangChain+ChatGLM3-13B+minio+Paraformer，其中langchain实现本地知识库微调，chatGlm作为大模型基座，minio作为语音存储库，paraformer作为本地文本与语音识别库。

一、Langchain搭建

使用conda创建一个虚拟环境，基于 Python3.10，并在虚拟环境内安装项目的依赖

conda env list

conda activate langchain

# 拉取仓库

$ git clone

了解本专栏 订阅专栏 解锁全文 超级会员免费看
vandh
关注
专栏目录
订阅专栏
从零搭建出属于自己的大模型
qq_45179513的博客
11-01 7252
你好！ 这是一个从零开始搭建本地大模型的教程（从建文件夹开始，真正的从零开始），如果你也对大模型感兴趣，那就让我带领你搭建出一个属于自己的“小助理”吧！具体步骤如下：创建文件夹存放源码和模型 ，在E盘中创建一个LLM文件夹用来存储源码和模型； 下载源码和模型 1）如果在Anaconda Powershell Prompt中下载时，可以使用下列语句 模型下载： git clone https://huggingface.co/THUDM/chatglm2-6b-32k git clone https://h
探寻AI大模型平台之巅——文心千帆
码农研究僧的博客
08-02 1万+
众多AI大模型不断涌现，一时不知如何挑选，畏惧尝试又期盼适配自身产品。算法、算力、数据等参数常用于评判的标准。放眼大部分产品，平台所具备的算力、服务企业的能力以及技术的丰富度，文心千帆即为首选，有着文心一言的优质大模型以及主流的第三方开源大模型（预测服务、Prompt工程以及插件编排），庞大的客户量，运维已久的数据量。第三方大模型：支持更多主流的开源大模型，目前达到33个（此次迭代新增Llama2模型以及其接口插件，后续融入更多开源大模型）。prompt模板库。
本地运行AI大模型简单示例
一醉自救的专栏
05-06 894
本文会介绍一下如何在本地运行大模型并和大模型进行交互对话，帮助我们回答问题，进行问答交互。
五个简单好用的本地运行大模型的方法
wjianwei666的专栏
04-21 1287
像ChatGPT、Claude.ai和phind这样的聊天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部应用程序处理。在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他方式用于帮助训练未来的模型。一种解决方案是下载一个大型语言模型（LLM）并在自己的机器上运行它。这样一来，外部公司就永远无法访问的数据。这也是尝试一些新专业模型的一个快速选择，如Meta最近宣布的Code Llama系列模型，这些模型经过了编码调整，以及Seamless M4T，旨在实现文本到语音和语言翻译。
大模型应用开发框架LangChain
石头记
06-10 956
LangChain是什么？ 它是针对大语言模型开发的一个开源的抽象框架。下图以github的流行度为例，可以看到langchain在很短的时间流行度达到Pytorch框架的高度，在AI燤火的当下，非常的流行。
手把手家教你进行ChatGPT私有化部署
python123456_的博客
07-04 1588
我们有理由相信，现在身边还不愿主动去接触这项技术，深入了解的小伙伴，在不久的将来，一定会被时代淘汰，至少幸存下来的成本会比我们低很多。言归正传，前段时间注册了ChatGPT的账号后，也尝试部署了Telegram版本的ChatGPT聊天功能，颇为成功，当时用的还是OpenAI的API。我这里用的是以下环境：CentOS Linux release 7.9.2009 (Core) 这里假定读者都是没有安装OS的门槛的，同时也有自己可用的代理套件，就不再赘述。这里需要设置为你自己的代理的IP。
新手小白如何搭建一个像openai一样的本地大模型（步骤多版本）
python12222_的博客
06-12 648
Ollama安装大模型1.安装ollama(本教程以win10系统为例）（1）下载地址：https://ollama.com/打开后进入以下下载地址下载windows版本ollama,其它系统选择对应版本如下图：下载后直接运行安装即可，安装好后右下角会显示一个羊驼的小图标（注意：ollama一般默认自动安装在C盘，后期如果下多个大模型，有的同学可能会面临空间不够，这里可以使用我找到的这个方法，如果不需要更改的可以略过此步骤）
如何打造你的AI大模型：开源大模型指南 新人小白必看！！！
shanguicsdn000的博客
06-18 1037
本地大语言模型已知目前最强的gpt4等大模型是商用闭源的，这些模型参数更大，更加智能，为什么我们会关注开源模型呢？可以本地部署运行（利用自己的电脑或服务器，运行）数据交互不需要和外网连接，数据安全性提升不需要购买服务，不用开会员，跑在自己的电脑上，想用多少就用多少。
大模型的api封装与本地端口调用（一）——openai实现
2201_75499442的博客
06-24 1645
通过本地的SSH隧道，我们能够在本地的6006端口进行api的访问，通过了解，这个是利用llama-factory中提供的包来实现的，且其中的模型为llama-factory本地提供的模型，通过资料查询，没能够获得如何针对本地模型使用。但是对于该API的实现方式，很难和我们的java项目结合起来，因为java开发项目目前对openai的支持度很低，因此我们还需要考虑更好的api实现方式。在llama-factory的src文件夹中，我们发现了api.py文件，因此我们在终端直接执行api.py。
python训练mask rcnn模型&&C++调用训练好的模型--基于opencv4.0（干货满满）
热门推荐
qq_29462849的博客
12-29 1万+
介绍 我的第一篇关于mask rcnn训练自己数据的博文，基于python代码，虽然可以跑，但是不能真正用到工程领域中，工程领域更多的是基于C++和C，如果编译tensorflow C++ API也是可以，然后利用api调用模型，但是会比较麻烦，自己也尝试过，不是那么友好。 opencv4.0，终于等到你~~~，opencv4.0已经支持mask rcnn的调用，只需要.pb文件和.pbtxt文件...
大规模集群自动化部署SSH无密码登陆
jethai的博客
08-28 860
大家需要在每个节点上提前装好"expect"工具expect的使用请看我的另一篇文章：http://tianxingzhe.blog.51cto.com/3390077/1687661 spawn命令激活一个Unix程序来进行交互式的运行。　send命令向进程发送字符串。expect命令等待进程的某些字符串set timeout 1    设置超时时间  timeout -1 为永不超时expec
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1356
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
数据分析高级培训：客户体验分析-课件
11-10
课程目标： 本课程旨在让学员了解什么是客户体验，客户服务体验的重要性以及常见指标，掌握客户体验的分析方法，学会客户问题的识别以及针对问题制定有效的解决方案。 课程大纲： 客户体验的概述 客户体验的分析方法 客户问题解决的方法论
【微电网潮流】分布式电源微电网潮流【Matlab仿真 7357期】.zip
11-10
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
Unity3d-lesson_EVAC-CITY.zip
11-10
Unity3d实例工程，供学习参考
2023-04-06-项目笔记 - 第三百一十三阶段 - 4.4.2.311全局变量的作用域-311 -2025.11.10
最新发布
11-10
2023-04-06-项目笔记-第三百一十三阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.311局变量的作用域_311- 2024-11-10
【电机控制】基于matlab PID控制器BLDC电机控制【Matlab仿真 7412期】.zip
11-10
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
【误码率仿真】基于matlab阿拉姆提空间时间块编码STBC（含误码率）【Matlab仿真 7425期】.zip
11-10
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vandh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值