word2vec和胶囊网络

word2vec

wordvec两种方式：cbow和skip-gram,两者在本质上是差不多的，只不过一个是用中间词预测周围侧，一个是用周为词预测中间词。

两种模型：

基于Hierarchical Softmax

构造哈夫曼树，将问题变为多个二分类

基于Negative Sampling模型

参考文献：

https://blog.csdn.net/itplus/article/details/37969979  该博客较为详细

https://blog.csdn.net/u014595019/article/details/51884529  理论

https://blog.csdn.net/enochx/article/details/52847696   源代码详解

https://blog.csdn.net/qq_37691768/article/details/78040205  gensim详解

胶囊网络

需要知识：EM算法，混合高斯模型（使用EM算法）

技巧：求最大值、最小值时一般转换为对数形式。

苏剑林3篇详解：

https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247487603&idx=1&sn=f2066b47d1ff6a323bffe043d1731750&chksm=96e9cff3a19e46e56b02cc6175d16dc4bc6572684081a1ab5756983f1ea638c0136dc0f5ef8d&scene=21#wechat_redirect   

https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247487194&idx=1&sn=1be48dd9a45f7f3a35024fdce55f2369&chksm=96e9d15aa19e584c0b4815d6b5791a7ab859049116f8500a08c454c55457f9489cf2adf4ab93&scene=21#wechat_redirect

https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247487682&idx=1&sn=97419d2cfb3a62ce8881358b897b2956&chksm=96e9cf42a19e4654933891edb47de676ec87f46e9fbaf02c99fc32150b00595549c8bc20f218&scene=21#wechat_redirect

原理分析：

https://blog.csdn.net/godwriter/article/details/79216404

https://blog.csdn.net/bhneo/article/details/79419361

胶囊网络在文本方面的的应用：

https://blog.csdn.net/qq_27009517/article/details/83146295  论文中文版

https://blog.csdn.net/sumiyou8385/article/details/80045058

论文《Investigating Capsule Networks with Dynamic Routing for Text Classification 》  https://arxiv.org/pdf/1804.00538.pdf

注：博客中的参考文献，其中英文那篇写的很好