ModelArts

1、环境创建

git下载llama到 work/llm 目录中，进入LLaMA-Factory文件夹下，安装更新torch和metrics库

git clone https://github.com/hiyouga/LLaMA-Factory.git

在控制台执行下面的命令，安装llamafactory，安装成功后查看llamafactory的版本。

pip install -e .[torch,metrics]

export ASCEND_HOME_PATH=/usr/local.Ascend/ascend-toolkit/latest

llamafactory-cli version

2、使用千问大模型

下载千问2的7B语言大模型并解压，我这里统一放在work/llm目录。

wget https://dmx.obs.cn-east-334.jnaicc.com/QWEN/Qwen2-7B-Instruct.tar

tar -xvf Qwen2-7B-Instruct.tar 

 

使用千问大模型进行问答，在 examples/inference/文件夹下新建qwen.yaml文件，然后将刚才下载的模型路径和一些配置写在里面。如：

然后在命令行中输入：

ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/qwen.yaml

等待运行加载完毕后就可以进行对话了， 

3、进行微调fine-tune

设置自己想要调整的参数，然后针对数据进行微调训练。