- 博客(5)
- 资源 (6)
- 收藏
- 关注
原创 在测试或者预测时,Transformer里decoder为什么还需要seq mask?
这个sublayer里会用一个三角矩阵来做mask。在training的时候,这个mask是为了保证causality,即把将来的数据mask掉,这都比较好理解。但是在做testing的时候,为什么还要继续使用这个mask了?如在http://nlp.seas.harvard.edu/2018/04/03/attention.html#batches-and-masking 里...
2020-02-02 14:33:32 4050 6
原创 最大熵原理与最大熵模型
最大熵原理非常简单,是一个关于最合理的概率分布的准则:最合理的概率分布是包含已知信息,但不做任何未知假设,把未知事件当成等概率事件处理的概率分布.利用最大熵原理求解最合理概率分布:把约束条件列出来(即把我们从sample中观察到一些现象用等式表达出来) 把Entropy表达式写出来 利用Lagrange Multiplier进行求解最大熵模型:我利用Adwait Ratnap...
2019-11-25 20:05:45 1257
原创 如何下载Hugging Face 模型(pytorch_model.bin, config.json, vocab.txt)以及如何在local使用
首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里,可以看到三个文件configuration_bert.py,modeling_bert.py,tokenization_bert.py。这三个文件里分别包含 BERT_PRETRAINED_MODEL_ARCHIVE_MAP ...
2020-02-14 13:58:42 29115 15
原创 在Apache2中设置locale遇到的坑, UnicodeEncodeError ‘ascii’ codec can’t encode...
有一个用python写的web应用程序,运行在Ubuntu 16.04 LST + Apache2 + cgi上。本来一切都OK,今天突然发现当路径或文件名是中文时,python会报错UnicodeEncodeError ‘ascii’ codec can’t encode characters in position ordinal not in range(128)baidu, goog...
2019-11-20 19:46:24 298
原创 在Ubuntu14.04,virtualenv中安装openCV 2.4.13
简单总结一下我是如何在ubuntu 14.04 LTS里,python virtualenv中安装openCV 2.4.13 (不带CUDA)的。为了安装一个特定版本的openCV首先安装一些依赖: 有些包在安装的时候可能出错,先不管那么多,把以前没有安装的都安装一遍。 $ sudo apt-get install build-essential $ sudo apt-get in...
2019-02-28 21:27:59 306
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人