![](https://img-blog.csdnimg.cn/9750d52cf6ce4357951e7a238bbdb2d3.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
huggingface transformers
文章平均质量分 75
记录transformers库的工具与tutorial学习笔记
凯子要面包
这个作者很懒,什么都没留下…
展开
-
创建Dataloader基础篇【一】
因为trainer默认是以aotu_batch方式加载与处理数据,因此本部分仅记录aotu_batch方式。另外本文仅记录trainer中创建dataloader的基础过程。对于一些个性化加载与处理、如长文档文本分类,如有必要,会另起一篇文章再进行记录。原创 2023-11-28 17:31:08 · 325 阅读 · 0 评论 -
transformers中的data_collator
使用huggingface的Dataset加载数据集,然后使用过tokenizer对文本数据进行编码,但是此时的特征数据还不是tensor,需要转换为深度学习框架所需的tensor类型。data_collator的作用就是将features特征数据转换为tensor类型的dataset。本文记录huggingface transformers中两种比较常用的data_collator,一种是default_data_collator,另一种是DataCollatorWithPadding。本文使用BertT原创 2023-11-23 17:18:26 · 1285 阅读 · 0 评论