四、使用chatglm-6B进行训练和微调(二)
1、环境配置
安装docker环境
docker run -it --ipc=host --network=host --device=/dev/kfd --device=/dev/dri \ --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined \ --name=olmo rocm/pytorch:rocm6.0_ubuntu20.04_py3.9_pytorch_2.1.1 /bin/bash
确保识别GPU
安装hugging face 环境依赖
pip install -q transformers sentencepiece
2、加载模型
import time from transformers import AutoTokenizer, AutoModel
如下图可以看到chatglm的具体架构
3、运行模型
对于给的输入
得到对应的输出
接下来打印response的结果