- 博客(5)
- 收藏
- 关注
原创 基于datasets库加载语言大模型所需要的数据及其预处理
datasets加载,上一篇我的博客中已经介绍了大模型的加载,基于上一篇的tokenizer加载,这一篇简述dataset的加载预处理过程,我的数据是json格式。
2024-07-29 23:36:29 341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
datasets加载,上一篇我的博客中已经介绍了大模型的加载,基于上一篇的tokenizer加载,这一篇简述dataset的加载预处理过程,我的数据是json格式。
2024-07-29 23:36:29 341
TA创建的收藏夹 TA关注的收藏夹
TA关注的人