【转载】【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集

转载链接：https://blog.csdn.net/freewebsys/article/details/134788578

【ChatGLM3】（7）：在autodl上，使用A50显卡，使用LLaMa-Factory开源项目对ChatGLM3进行训练，非常方便的，也方便可以使用多个数据集

1，视频地址

https://www.bilibili.com/video/BV1GN411j7NP/

大模型训练利器，使用LLaMa-Factory开源项目，对ChatGLM3进行训练，特别方便，支持多个模型，非常方方便

更多ChatGPT技术文章：

https://blog.csdn.net/freewebsys/category_12270092.html

1，关于LLaMa-Factory项目

项目地址：
https://github.com/hiyouga/LLaMA-Factory

LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
使用 CUDA_VISIBLE_DEVICES=0 python src/train_web.py 启动 LLaMA Board。（该模式目前仅支持单卡训练）

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA-Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA-Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

2，安装LLaMa-Factory

先下载git 代码，然后执行安装：

git clone https://github.com/hiyouga/LLaMA-Factory.git 
cd /LLaMA-Factory 
pip3 install -r requirements.txt

参考文档：
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

然后启动项目：

python3 src/train_web.py

可以修改代码中的端口：

from llmtuner import create_ui  

def main():
	demo = create_ui()
	demo.queue()
	demo.launch(server_name="0.0.0.0",server_port=6006, share=False, inbrowser=True)
	
if __name__ == "__main__":
	main()

3，启动成功

就可以看到界面了：

选择完成就可以预览脚本了：

然后就可以执行了。
过一会就可以看到过程图了：

可以展示进度百分百，和曲线了。确实非常方便。

GPU使用在23G左右：

资源消耗：

4，总结

工具还是非常的简单，可以把机构参数进行设置下。
主要就是把参数可视化，同时把结果也可视化。
非常的方便。进度也可以看到。
支持很多模型：