![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
王椗
这个作者很懒,什么都没留下…
展开
-
如何下载Hugging Face 模型(pytorch_model.bin, config.json, vocab.txt)以及如何在local使用
首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里,可以看到三个文件configuration_bert.py,modeling_bert.py,tokenization_bert.py。这三个文件里分别包含 BERT_PRETRAINED_MODEL_ARCHIVE_MAP ...原创 2020-02-14 13:58:42 · 28475 阅读 · 15 评论 -
在测试或者预测时,Transformer里decoder为什么还需要seq mask?
这个sublayer里会用一个三角矩阵来做mask。在training的时候,这个mask是为了保证causality,即把将来的数据mask掉,这都比较好理解。但是在做testing的时候,为什么还要继续使用这个mask了?如在http://nlp.seas.harvard.edu/2018/04/03/attention.html#batches-and-masking 里...原创 2020-02-02 14:33:32 · 3991 阅读 · 6 评论