如何生成属于自己的大模型?我们要把这个整体的流程先理清楚。
前提需要租一台服务器。如何配置请看VSCode远程开发连接远程服务器(AutoDL)-CSDN博客
整体流程
1.选择适合自己的基座模型
2.拥有自己的数据集
3.模型微调(讲数据集融入模型)
4.合并导出模型
经历上面4个步骤就可以获得一个属于自己的大模型。
选择适合自己的基座模型
我们可以通过https://huggingface.co/或者魔搭社区,搜索自己想要的模型。注意huggingface只能通过科学上网的方式去访问,魔搭社区是我们国内的模型库网站。
我是用的是llama3.2-1B的模型当成基座的。
在这之前我们要先把服务器打开,通过vscode去连接服务器,打开root目录。