![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
itsRae
这个作者很懒,什么都没留下…
展开
-
nlp-Attention机制详解
参考 https://blog.csdn.net/songbinxu/article/details/80739447转载 2019-02-27 14:30:01 · 259 阅读 · 0 评论 -
skip-gram模型解释/CBOW模型
参考:(写的比较详细通俗了) https://www.jianshu.com/p/da235893e4a5 一部分说明: (假设词典大小为10000,目标词向量维度为300维)用中心词去预测背景词的时候,每次的输入为背景词的one-hot向量(10000维),经过隐藏层(此处的隐藏层没有非线性函数,即没有s函数或者relu函数,隐藏层的权重系数其实就是词向量矩阵)后得到该词的低维向量(300维...转载 2019-03-01 21:57:10 · 408 阅读 · 0 评论 -
调参经验
参考: https://zhuanlan.zhihu.com/p/24720954?utm_source=zhihu&utm_medium=social转载 2019-03-05 14:44:09 · 275 阅读 · 0 评论 -
fasttext
参考: https://blog.csdn.net/qq_16633405/article/details/80578431 1.功能:用于文本分类,比如情感分类,垃圾邮件等 2.输入:句子的特征量,句子特征量包含每个字的特征量和n-gram的特征量。 具体做法是先求出每个字的特征量,在求出这个句子n-gram的特征量,然后加起来求平均,作为输入。其中字和n-gram的特征量是通过哈希来存储的。 ...转载 2019-03-05 15:23:54 · 111 阅读 · 0 评论 -
elmo
参考: https://blog.csdn.net/m0_38088359/article/details/83904566 (略读即可)网上没有找到很好的教程 个人理解: elmo是先用语料库训练一个语言模型(双向lstm),在实际应用中,当需要对词进行求编码的时候,就将词的句子输入模型当中,然后将该词的所有中间激活值取出来作为该词的编码。由于这种方式中,为了获得一个词的编码是需要输入该词所在的...转载 2019-03-05 16:10:06 · 305 阅读 · 0 评论 -
负采样
参考: https://www.imooc.com/article/29453 https://blog.csdn.net/itplus/article/details/37998797 (这个博客里有很多关于word2vec论文的细节,很值得阅读)转载 2019-03-02 22:08:05 · 2884 阅读 · 0 评论 -
层序softmax解释
参考: https://www.cnblogs.com/pinard/p/7243513.html (讲得不错) https://www.jianshu.com/p/5ad3e97d54a3 (哈夫曼树介绍,左右节点应该是可以互换的) 对于层序softmax来说,是将原来的softmax层以及对应的权重系数矩阵去掉了,采用哈夫曼树替代,哈夫曼树的结构是基于语料库里词的频率构建的(语料库这个是自...转载 2019-03-03 15:52:35 · 1808 阅读 · 0 评论 -
词向量发展介绍
参考: https://blog.csdn.net/weixin_37947156/article/details/83146141 (看看就行,解释的不是很详细)转载 2019-03-03 15:57:55 · 781 阅读 · 0 评论 -
glove模型
参考: https://blog.csdn.net/u014665013/article/details/79642083 对公式的解释和理解很不错 glove和skip-gram与cbow不同,后两者是基于窗口信息和神经网络建立的求词向量的模型,而glove没有用到神经网络,他是基于共现矩阵建立的。即给词向量赋予合适的值,使得词向量符合共现矩阵的某些性质,从而代替共现矩阵(共现矩阵也可以表示词,...转载 2019-03-03 16:40:58 · 392 阅读 · 0 评论