动手蒸馏自己的DeepSeek-R1大模型

最新推荐文章于 2025-03-03 11:34:01 发布

小马不会过河

最新推荐文章于 2025-03-03 11:34:01 发布

阅读量1k

点赞数 10

文章标签： gpt python 人工智能开发语言金融

本文链接：https://blog.csdn.net/m0_59163425/article/details/145617084

版权

要说这个春节最火的非DeepSeek莫属了，各种朋友圈、公众号全是有关deepseek的消息。我自己也试了官方的网页版本和APP,但重试率太高，没办法官方的计算资源抗不住大家伙的热情。

今天给大家介绍一个工具，可以零代码训练出自己的任意大模型，也支持了deepseek（我本地ollama部署了一个deepseek-r1:14b）进行了小测试；它就是Kiln AI.

项目地址

官方仓库地址：https://github.com/Kiln-AI/Kiln
文档地址：https://docs.getkiln.ai/docs/quickstart （目前仅英文）

软件特点

🚀 直观的桌面应用程序：适用于 Windows、MacOS 和 Linux 的一键式应用程序。真正直观的设计。

🎛️ 微调：Llama、GPT4o 和 Mixtral 的零代码微调。自动无服务器部署模型。

🤖 合成数据生成：使用我们的交互式可视化工具生成训练数据。

🧠 推理模型：训练或提炼您自己的自定义推理模型。

🤝 团队协作：基于 Git 的 AI 数据集版本控制。直观的用户界面让您可以轻松地与 QA、PM 和主题专家就结构化数据（示例、提示、评分、反馈、问题等）进行协作。

📝 提示词生成：自动从您的数据中生成提示，包括思路链、小样本和多样本等。

🌐 广泛的模型和提供商支持：通过 Ollama、OpenAI、OpenRouter、Fireworks、Groq、AWS 或任何与 OpenAI 兼容的 API 使用任何模型。

🧑‍💻 开源库和 API：我们的 Python 库和 OpenAPI REST API 是 MIT 开源的。

🔒 隐私优先：我们看不到您的数据。自带 API 密钥或使用 Ollama 在本地运行。

🗃️ 结构化数据：构建使用 JSON 的 AI 任务。

💰 免费：我们的应用程序是免费的，我们的库是开源的。

（以上内容基于官方文档google翻译）

使用体验

使用起来也很简单，官方有支持各平台的安装包，只要下载运行就好，会自动打开浏览器并访问 http://localhost:8757/

根据提示一步步往后走就行了

如果ollama不在本地机器上，先点一次“Connect”后会弹出配置ollama配置.

使用中有些框的数据也不需要自己填写，如下图

只要点击"Create an example" 就自动把表单填上了。

创建任务这里也是，对新手来说相当友好了；不了解每个参数意义的，先自动填充跑一遍看看流程，也不需要自己胡乱填写。

任务主要界面

成本

由于我是在一个只有12G的显卡上跑的测试(就是慢…)，ollama部署不需要其它额外成本，官方文档上有一个18分钟（不包括等待训练和数据生成的时间）微调9个大模型的说明，里面有提到成本。

生成训练数据：OpenRouter 上 2.06 美元
在 Fireworks 上微调 5 个模型（Llama 3.2 1b、Llama 3.2 3b、Llama 3.1 8b、Llama 3.1 70b 和 Mixtral 8x7b）：1.47 美元
在 OpenAI 上微调 GPT 4o-Mini：2.03 美元
在 OpenAI 上微调 GPT 4o：16.91 美元
在 Unsloth 上对 Llama 3.2 1b 和 3b 进行微调：0.00 美元（免费 Google Colab T4）

如果没有 GPT-4o，整个项目的成本将不到 6 美元！

同时，我们最快的微调（Llama 3.2 1b）比我们在合成数据生成期间使用的模型快 10 倍，便宜 150 倍（来源：OpenRouter 性能统计和价格）。

文档连接：https://docs.getkiln.ai/docs/fine-tuning-guide

结束语

这只是一个小的测试，后面会结合业务场景做深入的测试，看是否能训练一个专用的模型为自己所用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述