Langchain+ChatGLM-6B的私有化部署实现企业私有知识库

目录

1.Langchain简介

1.1本地知识库问答的原理图

1.2项目Git地址

2.操作系统及系统环境

2.1安装Ubuntu

1）修改启动项为UEFI

2）查看Ubuntu版本，20.04

3）系统版本之插曲

2.2设置SSH

1）查看SSH状态

2）下载SSH并安装

3）再次查看，ok

2.3安装向日葵

3.容器部署(没有使用) 

4.安装GPU驱动

4.1确认显卡型号：

4.2下载驱动：

4.3禁用Nouveau驱动

4.4安装驱动

5.安装CUDA

6.Anaconda部署

6.1下载Anaconda

6.2 创建虚拟机环境

7. Pytorch部署

8.安装github

9.部署Langchain-chatGLM项目

9.1进入项目的目录

9.2拉取仓库

9.3安装依赖

9.4安装缺失的依赖

9.5启动WebUI

9.6访问

---

1.Langchain简介

1.1本地知识库问答的原理图

1.2项目Git地址

GitHub.comhttps://github.com/imClumsyPanda/langchain-ChatGLM#%E5%9F%BA%E4%BA%8E%E6%9C%AC%E5%9C%B0%E7%9F%A5%E8%AF%86%E5%BA%93%E7%9A%84-chatglm-%E7%AD%89%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8%E5%AE%9E%E7%8E%B0

2.操作系统及系统环境

2.1安装Ubuntu

1）修改启动项为UEFI

修改启动项为UEFI启动
进入U盘选择安装Ubuntu

2）查看Ubuntu版本，20.04

lsb_release -a

3）系统版本之插曲

最开始安装的系统版本为16.04，CUDA是安装的11.8，其他的环境和依赖都是安装这个往下装的，直到安装P40 GPU的驱动时候才发现：

那么到了安装CUDA11.7的时候发现下面的问题，Ubuntu系统不支持18.04以前的版本

进而尝试了升级os，从16.04-》18.04，方法如下：

升级系统后安装驱动仍然有好多问题，所以就索性重新安装了20.04版本的操作系统，实际情况是重新安装系统后确实各个工作都顺利许多。

2.2设置SSH

1）查看SSH状态

sudo service ssh status

2）下载SSH并安装

sudo apt-get update
sudo apt-get install openssh-server

3）再次查看，ok

2.3安装向日葵

lrzsz工具

3.容器部署(没有使用) 

实际使用中，放弃了docker的部署，直接在conda的环境中部署项目，但这部分就留着了。

为了能让容器使用主机GPU资源，需要在主机上安装 NVIDIA Container Toolkithttps://github.com/NVIDIA/nvidia-container-toolkit具体安装步骤如下：

sudo apt-get update    #更新你的系统的包列表
sudo apt-get install -y nvidia-container-toolkit-base.  #-y表示如果系统在安装过程中需要任何确认，都会自动选择“yes”
sudo systemctl daemon-reload   #告诉 systemd 重新加载它的配置
sudo systemctl restart docker

系统没有安装docker，报错

Failed to restart docker.service: Unit docker.service not found.

检查docker是否安装：

docker --version

如果没有安装：

sudo apt-get update
sudo apt-get install docker.iodoc

安装完成后重新检查docker的版本，并且重启服务

4.安装GPU驱动

4.1确认显卡型号：

lspci | grep -i nvidia

4.2下载驱动：

NVIDIA Driver Downloadshttps://www.nvidia.com/Download/index.aspx#

P40的GPU只支持CUDA11.7，所以下载该版本驱动，那么前面的PyThorch就需要更换为对应11.7的版本

下面的命令

wget https://us.download.nvidia.com/tesla/515.105.01/NVIDIA-Linux-x86_64-515.105.01.run

sudo</