yu_tsl的博客

深度学习发展史：  忽略前面那些铺垫，直接介绍深度学习爆发期的历史   1. 2012 AlexNet  成功利用relu 代替 sigmoid函数，解决了sigmoid函数的梯度弥散问题  添加了drop out 层，防止过拟合  采用最大池化，代替平均池化  2. 2014 VGG  通过反复堆叠3*3 小型卷积核和2*2 的最大池化层 3. 201...

                                               LSTM介绍   LSTM神经网络是为了克服RNN循环神经网络的梯度消失或者梯度爆炸而产生的神经网络。主要的改变是增加了三个门，分别是输入门、输出门和忘记门。下面内容转载于（https://blog.csdn.net/gzj_1101/article/details/79376798） ...

                                          N-gram 模型语言模型： 定义了自然语言中标记序列的概率分布，通俗一点考虑就是说，一个句子是自然语句的概率。举例说明：假设用户说了这么一句话：“I have a gun”，因为发音的相似，该语音识别系统发现如下几句话都是可能的候选：1、I have a gun. 2、I have a gull. 3...

转载于（https://www.cnblogs.com/pinard/p/7160330.html）1. 词向量基础　　　　用词向量来表示词并不是word2vec的首创，在很久之前就出现了。最早的词向量是很冗长的，它使用是词向量维度大小为整个词汇表的大小，对于每个具体的词汇表中的词，将对应的位置置为1。比如我们有下面的5个词组成的词汇表，词"Queen"的序号为2， 那么它的词向量就是(0...

转载于（http://www.cnblogs.com/pinard/p/7243513.html）1. 基于Hierarchical Softmax的模型概述　　　　我们先回顾下传统的神经网络词向量语言模型，里面一般有三层，输入层（词向量），隐藏层和输出层（softmax层）。里面最大的问题在于从隐藏层到输出的softmax层的计算量很大，因为要计算所有词的softmax概率，再去找概率最...

转载于（https://blog.csdn.net/john_bh/article/details/79268850）转载请注明作者和出处：http://blog.csdn.net/john_bh/ 一、简介 二、FastText原理 2.1 模型架构 2.2 层次SoftMax 2.3 N-gram特征 三、 基于fastText实现文本分类 3.1 fastTe...