基于llama3微调echarts模型

基于llama3微调echarts模型

目标

大模型对于通用知识的理解能力较强，但是对于专业知识还有一些欠缺，微调模型可以直接把专业知识输入给大模型，增加专业能力和功能性。

数据集

我们团队主要是使用了echarts的专业知识，因此选择爬取echarts官网是数据。

Examples - Apache ECharts

爬取标题和JS的option配置代码，形成一个JSON数据，用于构建数据集。

形成这样的一个JSON数据集用于输入给模型微调。

微调

使用unsloth工具

github开源工具：

GitHub - unslothai/unsloth: Finetune Llama 3, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory

在github主页，直接选择llama3的数据，点击Start for free

colab微调配置

使用谷歌家的colab对模型进行微调，unsloth提供了微调的基础模板，在此基础上进行修改。

上传文件并修改dataset路径

在侧边栏传入之前编辑好的数据集，并将load_dataset更改为相应的路径

更改保存文件

将保存文件的notebook项改成true，保存文件到本地。

挂载谷歌硬盘

根据网友经验，colab下载速度缓慢，挂载到谷歌云端硬盘可以提高下载速度。

开始训练

点击开始运行即可开始训练。

经过60Step的训练，Loss已经降低到了一个非常低的水平。模型对我们新提供的数据拟合良好。

测试

随机选择一个例子测试，成功。

保存文件

保存文件的代码也运行成功。

谷歌云端硬盘

出现了4.58GB的新文件，经过长时间的下载，在后续在ollama中配置这个guff文件。