【LawGPT模型服务器部署全流程】

1.先从github上拉取最新的项目代码

从github仓库将代码git下来

在服务器你想要存储项目的文件夹下
`git clone git@github.com:pengxiao-song/LaWGPT.git`
切换至目录
`cd LaWGPT`
创建conda环境
`conda create -n lawgpt python=3.10 -y`
激活conda环境
`conda activate lawgpt`

2.下载并配置依赖

下载依赖

pip install -r requirements.txt

如果无法执行或很慢可以通过以下两种方式：
1.后台执行python代码
    nohup python -m pip install -r requirements.txt
    参考链接：https://blog.csdn.net/wtyuong/article/details/13009904
2.使用镜像下载 (-i 后面是镜像地址 --trusted-host 后面是添加信任)
    pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
    
 可使用的镜像地址：
 		阿里云 https://mirrors.aliyun.com/pypi/simple/
 		豆瓣 http://pypi.douban.com/simple/
 		清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
 		中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
 		华中科技大学 https://pypi.hustunique.com/

3.模型合并

按照该项目github上的描述，将两个模型进行权重合并

由于服务器无法直接访问hugging face，所以我将模型下载到本地，然后ftp传到了服务器上

3.1 模型下载

base-model：chinese-alpaca-plus-7b-merged
下载地址：https://huggingface.co/minlik/chinese-alpaca-plus-7b-merged
权重：/entity303/lawgpt-lora-7b-v2
下载地址：https://huggingface.co/entity303/lawgpt-lora-7b-v2

下载步骤：

3.1.1 进入huggingface的网站，选择要下载的模型
3.1.2 点击 Files and versions 如图
3.1.3 点击下载，下就完了

3.2 模型上传至服务器（ftp传上去就行，放到项目文件某个路径下）

3.3 修改模型合并脚本

3.3.1 修改 /scripts/merge.sh文件
将原来的直接访问hugging face的模型路径都改为本地存储模型的路径
注：注释掉的是原来路径，下面一行是我本地模型路径,第三行是合并后模型的存放路径
3.3.2 修改/merge.py文件
还是修改了模型的路径，这里不改应该也可以

3.4 进行模型权重合并

bash scripts/merge.sh

4.模型运行

4.1 修改模型运行脚本

修改script/webui.sh
还是修改模型路径，base_model 选择之前合并后产生的模型

4.2 运行模型

执行脚本bash /scripts/webui.sh

如果运气不错，就可以将模型跑起来了并通过gradio发布的外部链接进行访问

以上

给文件授予执行权限
chmod +x /home/hhy/.conda/envs/lawgpt/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2

但我的最后发布外部链接还是有点问题，检查了也不是防火墙的问题，文件也授予了执行权限，如果有小伙伴知道为啥，还请评论教教我。