- 博客(2)
- 收藏
- 关注
RSS订阅原创 AI 炼丹系列（Python）: 深度学习从练气到化神，是否结丹看你的（2）
模型训练的数据保存格式有很多种，datasets库提供了相关的方法从网上下载并加载导入，所以就不需要重复造轮子了。datasets是HuggingFace开发的，所以默认了从其网站下载数据的功能。question, novel, konwledge是数据分类的名称，代表我要训练问答、小说、知识之类的内容。后面带_e的文件代表的是验证数据文件，两种文件里的格式一致。我们使用jsonl格式，以方便编辑和浏览。它和json的区别就是，每行都是一个json对象(也可以理解为python中的dict对象)。
2024-01-04 21:36:10
632
原创 AI 炼丹系列（Python）: 深度学习从练气到化神，是否结丹看你的（1）
## 问题：1. 深度学习训练的常规步骤2. 微调模型的几个思考方向3. 构建自己的数据集用于微调大模型4. 各种微调方式的实现## 编写代码先用一个简单的中文手写识别的深度学习例子来说明训练的过程，这里分别使用PyTorch和TenserFlow来实现，以便比较两个工具库的不同风格。**Talk is cheap， Show code.**数据存放的路径：总共15000张图片，可以去kaggle.com下载 <https://www.kaggle.com/datasets/
2024-01-02 12:20:01
687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人