转载链接:https://blog.csdn.net/freewebsys/article/details/134788578
【ChatGLM3】(7):在autodl上,使用A50显卡,使用LLaMa-Factory开源项目对ChatGLM3进行训练,非常方便的,也方便可以使用多个数据集
1,视频地址
https://www.bilibili.com/video/BV1GN411j7NP/
大模型训练利器,使用LLaMa-Factory开源项目,对ChatGLM3进行训练,特别方便,支持多个模型,非常方方便
更多ChatGPT技术文章:
https://blog.csdn.net/freewebsys/category_12270092.html
1,关于LLaMa-Factory项目
项目地址:
https://github.com/hiyouga/LLaMA-Factory
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
使用 CUDA_VISIBLE_DEVICES=0 python src/train_web.py 启动 LLaMA Board。(该模式目前仅支持单卡训练)
与 ChatGLM 官方的 P-Tuning 微调相比,LLaMA-Factory 的 LoRA 微调提供了 3.7 倍的加速比,同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术,LLaMA-Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。
2,安装LLaMa-Factory
先下载git 代码,然后执行安装:
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd /LLaMA-Factory
pip3 install -r requirements.txt
参考文档:
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md
然后启动项目:
python3 src/train_web.py
可以修改代码中的端口:
from llmtuner import create_ui
def main():
demo = create_ui()
demo.queue()
demo.launch(server_name="0.0.0.0",server_port=6006, share=False, inbrowser=True)
if __name__ == "__main__":
main()
3,启动成功
就可以看到界面了:
选择完成就可以预览脚本了:
然后就可以执行了。
过一会就可以看到过程图了:
可以展示进度百分百,和曲线了。确实非常方便。
GPU使用在23G左右:
资源消耗:
4,总结
工具还是非常的简单,可以把机构参数进行设置下。
主要就是把参数可视化,同时把结果也可视化。
非常的方便。进度也可以看到。
支持很多模型: