FastChat 本地化安装部署-拥有属于私人的ChatGPT

写在前面：第一发稿把自己熬夜几天的一些经历写下来，希望能给AI爱好者一个前车之鉴，自从看到斯坦福-ALPACA项目就想着能否能否本地化部署一套AI CHAT，所以找了很多网站，都没有FastChat部署能很完整的写下来，所以有了本文：

1 前期准备：  N卡（24G以上显存），16G内存 ，i5以上的CPU

2 操作系统：Ubuntu 22.04    https://ubuntu.com/download/desktop/thank-you?version=22.04.2&architecture=amd64

3 安装N卡驱动：

3.1 选择系统自带的Nk驱动

3.2 下载最新的   官方驱动 | NVIDIA

3.3 使用nvidia-smi确认驱动是否安装成功

4 安装环境：

sudo apt update
sudo apt install tmux htop

wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh
bash Anaconda3-2022.10-Linux-x86_64.sh

conda create -n fastchat python=3.9
conda activate fastchat


git clone https://github.com/lm-sys/FastChat.git   
#如果失败加上https://ghproxy.com/https://github.com/lm-sys/FastCha