Hugging Face——Transformer使用
文章平均质量分 90
使用过bert的友友应该对这个工具包不陌生,该工具,或者说该生态为我们使用预训练模型提供了极大的便利,同时也方便我们对模型进行微调。下面我们一起学习一下吧。
皮皮-科皮子菊
硕士,AI算法工程师。曾获华为杯中国研究生数学建模竞赛一等奖,省优秀毕业生等。写过几篇中文核心,发过几篇国际会议,还有几个授权专利。喜欢搞搞代码,写写博客,没事还会搞搞LaTeX。
展开
-
【Transformers】预训练模型使用工具Transformer(2):文本分词
从结果中我们可以看出,结果的首位增加了特殊的token:[CLS]、[SEP],这两个token的起着指示句首和句尾的作用;如果将这些tokens转换成字符串时,带有前缀的token会和前面的token合并,我们可以使用tokenizer的。有了上面的数据batch数据去训练或者去预测还是不够的,我们知道pytorch中有DataLoader这个类去对dataset数据进行批次化处理,方面模型训练和预测,transformers当然也有。在实际的模型微调,数据预测时,通常使用的批次数据的处理。...原创 2022-08-28 23:27:23 · 1561 阅读 · 0 评论 -
【Transformers】BertModel模块的输入与输出
背景通常我们使用bert进行模型fine-tune时,大多是使用Transformer这个包,官方地址:https://huggingface.co/. 如果想使用Bert获取任务对应的动态词向量,那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章:【NLP】BERT(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)阅读与总结.BertMod原创 2022-05-20 23:16:56 · 17632 阅读 · 4 评论 -
【Transformers】预训练模型使用工具Transformer(1):初识Hugging Face
上面包含的自回归模型如:GPT2,Transformer-XL,XLNet,自编码类型的BERT,ALBERT,RoBERTa,ELECTRA以及seq2seq类型的BART,Pegasu,T5等模型。hugging face是一个开源社区,它提供了一个可以上传先进NLP模型、数据集的一个平台,我们可以在这个平台上下载相关的模型,以及还提供了其他便利的工具,例如我们要介绍的transformers工具。由于是第一次执行,程序会自动下载对应的模型,下载模型的速度也是蛮快的。这些模型,数据集怎么使用呢?...原创 2022-08-28 11:29:14 · 1894 阅读 · 0 评论