![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 55
玄心阮
这个作者很懒,什么都没留下…
展开
-
tf 加日志
【代码】tf 加日志。原创 2023-02-03 22:23:37 · 129 阅读 · 0 评论 -
如何使用HuggingFace训练Transformer
对于这种batch_size = 3的场景,不同句子的长度是不同的,padding=True表示短句子的结尾会被填充[PAD]符号,return_tensors="pt"表示返回PyTorch格式的Tensor。token_type_ids主要用于句子对,比如下面的例子,两个句子通过[SEP]分割,0表示Token对应的input_ids属于第一个句子,1表示Token对应的input_ids属于第二个句子。其中,input_ids最容易理解,它表示的是句子中的每个Token在词表中的索引数字。原创 2023-01-27 17:11:13 · 1367 阅读 · 0 评论