基于本地知识库的大模型搭建教程_本地知识库搭建大模型

最新推荐文章于 2024-08-30 10:43:09 发布

辣卤牛肉面

最新推荐文章于 2024-08-30 10:43:09 发布

阅读量1.6k

点赞数 34

文章标签：机器人交互 langchain java 人工智能

本文链接：https://blog.csdn.net/2301_76168381/article/details/140556688

版权

基于本地知识库的大模型搭建

一、安装postgresql
- 1.下载postgresql
- 2.安装postgresql
二、配置向量插件
- 1.向量插件配置
三、数据库准备
- 1.初始化
四、初始化向量库
- 1.向量库初始化
五、模型，启动！
- 1.阿型，启动！
六、上传本地知识库及效果展示
- 1.上传本地知识库

一、安装postgresql

1.下载postgresql

1）进入下载网址，根据本地设备下载对应版本的数据库（以window安装postgresql16版本为例）https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
在这里插入图片描述

2.安装postgresql

1）具体安装可以一路next，或者参考别人的博客安装一下，建议安装默认路径。默认安装的路径应该是C:\Program Files\PostgreSQL\16
（PS：记好设置的账号密码）

二、配置向量插件

这一步是重点，配置前需要确定你的电脑是否有visual studio下的C++环境，如果没有的话，需要下载visual studio（社区版即可，无需专业版），安装时把C++的都选上。同时记住安装地址
下载地址：https://visualstudio.microsoft.com/zh-hans/downloads/
在这里插入图片描述

1.向量插件配置

1）以管理员身份打开Developer Command Prompt for VS 2022终端（此处我下载的是社区版VS 2022版）
在这里插入图片描述
2）在Developer Command Prompt for VS 2022终端进入源码目录下（E:\LLM\Langchain-Chatchat）执行call命令
call “E:\visualStudio\VC\Auxiliary\Build\vcvars64.bat”（根据自己的安装目录调整路径），若出现call命令出错，也可以直接到对应的目录下进行点击启动。
在这里插入图片描述

3）执行set "PGROOT=C:\Program Files\PostgreSQL\16"语句（根据自己postgresql的安装地址修改，如果是默认则无需修改）

4）执行语句下载pgvector文件，git clone --branch v0.4.4 https://github.com/pgvector/pgvector.git

5）进入pgvector目录，执行nmake /F Makefile.win和nmake /F Makefile.win install语句
在这里插入图片描述
6）打开pgAdmin4，创建数据库以及安装向量插件。
语句如下：
CREATE DATABASE TEST;
CREATE EXTENSION IF NOT EXISTS vector;

这些做完，基本上就差不多了，马上成功了吼吼吼！！！

三、数据库准备

这一步就该回到Anaconda Powershell Prompt终端了。

1.初始化

1）在configs目录下执行python -m spacy download en_core_web_sm语句。
在这里插入图片描述
2）在configs目录下执行python -m spacy download zh_core_web_sm语句

3）在configs目录下执行pip install psycopg2语句

4）在configs目录下执行pip install pgvector语句

四、初始化向量库

1.向量库初始化

1）在Langchain-Chatchat目录下，执行python init_database.py --recreate-vs语句，进行数据初始化
在这里插入图片描述

五、模型，启动！

1.阿型，启动！

1）执行python startup.py -a启动模型
在这里插入图片描述

六、上传本地知识库及效果展示

1.上传本地知识库

1）选择知识库管理，然后选择新建数据库
在这里插入图片描述
2）添加文件（仅支持txt文件）

3）测试问答

恭喜您，你已经成功搭建了属于你自己的本地知识库大模型，接下来快去训练属于自己的“小助理”吧！祝您生活愉快！！！

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。