![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
nlp相关算法
端坐的小王子
没什么难的,学就是了
展开
-
LDA主题模型2——文本建模与Gibbs采样求解
相信很多人第一次看到LDA算法都会头大,不管是看论文还是看博客,都少不了各种各样的公式和理论,概率分布、共轭分布、贝叶斯公式、Gibbs采样等等,一大堆耳熟又陌生的词,经常带着一大堆问号去学习,又带着一大堆问号离开。。。本篇文章将会一点点的将其攻克。...原创 2020-05-07 23:15:13 · 995 阅读 · 2 评论 -
LDA主题模型1——数学基础
相信很多人第一次看到LDA算法都会先皱眉头,不管是看论文还是看博客,都少不了各种各样的公式和理论,概率分布、共轭分布、贝叶斯公式、Gibbs采样等等,一大堆耳熟又陌生的词,经常带着一大堆问号去学习,又带着一大堆问号离开。。。本篇文章将会一点点的将其攻克。LDA的数学基础有很多,最主要的两个是共轭分布的概念与Gibbs采样的概念。关于Gibbs采样,我有专门的文章对其总结,从问题到原理到案例,有...原创 2020-04-27 11:30:28 · 335 阅读 · 0 评论 -
循环神经网络RNN 3——LSTM及其变体
LSTM(Long Short Term Memory networks)被称为长短期记忆模型,是一种比较特殊的循环神经网络,其基本结构和基本思路与RNN一样。关于模型,我们都知道LSTM有解决长依赖问题的能力,这是区别于普通RNN的地方。本篇将总结LSTM及其相关变体。目录1,LSTM概述2,剖析LSTM2.1 细胞状态2.2 忘记信息2.3 添加信息2.4 更新细胞状态2.5 输出细胞状态3 LSTM反向传播4 LSTM注意事项5 LSTM变体5.1 peephole connections5.2原创 2020-06-16 18:50:16 · 1316 阅读 · 0 评论 -
循环神经网络RNN 2—— attention注意力机制(附代码)
attention方法是一种注意力机制,很明显,是为了模仿人的观察和思维方式,将注意力集中到关键信息上,虽然还没有像人一样,完全忽略到不重要的信息,但是其效果毋庸置疑,本篇我们来总结注意力机制的不同方法。目录1,attention的定义2,基础的attention3, attention变体3.1,针对attention向量计算方式的变体3.1.1 Soft-attention3.1.2 Hard attention3.1.3 Local attention3.2, 针对attention score计原创 2020-06-15 19:17:58 · 6442 阅读 · 1 评论 -
循环神经网络RNN 1—— 基本模型及其变体
RNN是非常重要的神经网络结构,直接将数据处理提高了一个维度,在序列数据建模方面效果非常好,广泛应用于语音、视频、文本等领域,本篇将从模型结构上对RNN进行总结。(文末有相关的参考资料连接,有兴趣的可以进一步拓展。)目录1,RNN的基本结构1.1,单层网络1.2,经典的RNN结构(N vs N)2、RNN变体2.1 N vs 1 模型2.2, 1 vs N 模型2.3、N vs N模型1,RNN的基本结构RNN结构是从基本的神经网络变换而来的,加入了时间维度,可以很方便的处理序列数据。1.1,单原创 2020-06-15 17:53:39 · 1435 阅读 · 0 评论 -
Word2vector
Word2vector可以说是nlp的基石,但是其思想不仅仅局限在nlp,比如广告推荐中id的embedding也可以应用,本篇就来梳理一下w2v的思想。目录1,基本思想2,counting3,Skip-gram(Continuous Skip-gram Model)3.1 数据处理3.2 网络结构3.3 Skip-gram的改进4,CBOW(Continuous Bag-of-Words Model)5,总结1,基本思想Word2vector(简称w2v),字面上理解就是“词”转化为“向量”,或者原创 2020-06-01 17:58:54 · 656 阅读 · 0 评论