GLM-4部署

git clone https://github.com/THUDM/GLM-4.git

在环境里pip install modelscope
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download(‘ZhipuAI/glm-4-9b-chat’,local_dir=“/root/autodl-tmp/glm-4-9b-chat”)

进入

pip install -r requirements.txt

然后改一下trans_cli_demo.py的模型地址
第21行
MODEL_PATH = os.environ.get(‘MODEL_PATH’, ‘/root/autodl-tmp/glm-4-9b-chat’)

最后运行这里的python trans_cli_demo.py

看占用显存

运行trans_web_demo.py
pip install peft
然后python trans_web_demo.py

用AutoDL-SSH-Tools来通过本地看

微调
git clone https://github.com/hiyouga/LLaMA-Factory.git
进入文件夹LLaMA-Factory
pip install -e “.[torch,metrics]”
llamafactory-cli webui
映射到本地7860端口看

[
  {
    "instruction":"你好",
    "input":"",
    "output":"你好，我是Kimi，由月之暗面科技有限公司开发的AI助手。"
  },
  {
    "instruction":"今天天气如何？",
    "input":"北京",
    "output":"今天北京的天气晴朗，气温在15到25摄氏度之间。"
  },
  {
    "instruction":"汇率查询",
    "input":"1美元兑人民币",
    "output":"当前1美元兑换人民币的汇率大约是6.8。"
  },
  {
    "instruction":"文件阅读",
    "input":"请阅读这个PDF文件",
    "output":"文件已阅读完毕，内容涉及人工智能的发展趋势。"
  },
  {
    "instruction":"搜索信息",
    "input":"2024年奥运会举办城市",
    "output":"2024年奥运会将在法国巴黎举办。"
  },
  {
    "instruction":"数学计算",
    "input":"3乘以4的平方是多少？",
    "output":"3乘以4的平方等于48。"
  },
  {
    "instruction":"翻译服务",
    "input":"请将'Hello world'翻译成中文",
    "output":"'Hello world'翻译成中文是'你好，世界'。"
  },
  {
    "instruction":"笑话",
    "input":"",
    "output":"为什么电脑很慢？因为它的窗户（Windows）总是开着。"
  }
]

用自己的数据集要修改dataset_info.json文件
加一个

  "自我认知": {
    "file_name": "train.json",
    "columns":{
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  },

因为数据集比较小，所以设置了20轮，可以看到有效果