season77us的博客

首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里，可以看到三个文件configuration_bert.py，modeling_bert.py，tokenization_bert.py。这三个文件里分别包含 BERT_PRETRAINED_MODEL_ARCHIVE_MAP ...

这个sublayer里会用一个三角矩阵来做mask。在training的时候，这个mask是为了保证causality，即把将来的数据mask掉，这都比较好理解。但是在做testing的时候，为什么还要继续使用这个mask了？如在http://nlp.seas.harvard.edu/2018/04/03/attention.html#batches-and-masking 里...

最大熵原理非常简单，是一个关于最合理的概率分布的准则:最合理的概率分布是包含已知信息，但不做任何未知假设，把未知事件当成等概率事件处理的概率分布.利用最大熵原理求解最合理概率分布：把约束条件列出来（即把我们从sample中观察到一些现象用等式表达出来） 把Entropy表达式写出来 利用Lagrange Multiplier进行求解最大熵模型:我利用Adwait Ratnap...

有一个用python写的web应用程序，运行在Ubuntu 16.04 LST + Apache2 + cgi上。本来一切都OK，今天突然发现当路径或文件名是中文时，python会报错UnicodeEncodeError ‘ascii’ codec can’t encode characters in position ordinal not in range(128)baidu， goog...

简单总结一下我是如何在ubuntu 14.04 LTS里，python virtualenv中安装openCV 2.4.13 (不带CUDA)的。为了安装一个特定版本的openCV首先安装一些依赖: 有些包在安装的时候可能出错，先不管那么多，把以前没有安装的都安装一遍。 $ sudo apt-get install build-essential $ sudo apt-get in...