2019年06月_iceburg-blogs

12月 11月 10月 09月 06月 04月 03月 01月

原创 NLP学习04--长短期记忆网络LSTM

一.长短期记忆网络LSTM简介LSTM是对RNN的改进和升级，在RNN模型中，对于长期依赖的问题可能产生梯度消失和梯度爆炸，而在RNN的基础上改进而来的LSTM则特别适合解决这类需要长时间依赖的问题。LSTM相对于RNN的不同使，LSTM将“记忆细胞”进行了改造，而不是像RNN那样只有一个简单的激活函数。在LSTM中，需要记录的信息会一直传递，不需要记录的信息会被截断掉如下图所示，部分输出和输...

2019-06-08 16:47:05 1200

原创 NLP学习03--递归神经网络RNN

一.递归神经网络RNN简介BP神经网络和CNN的输入输出都是互相独立的；但是实际应用中有些场景输出内容和之前的内容是有关联的。 RNN引入“记忆”的概念；递归指其每一个元素都执行相同的任务，但是输出依赖于输入和“记忆”bp神经网络和卷积神经网络这两种结构有一个特点，就是假设输入是一个独立的没有上下文联系的单位。但是对于一些有明显的上下文特征的序列化输入，比如预测视频中下一帧的播放内容，那么很...

2019-06-08 14:51:20 898

原创 NLP学习02--卷积神经网络CNN

一.卷积神经网络简介卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一。CNN在CV和NLP领域都有很广泛的应用，相较于传统的算法，CNN避免了复杂的前期预处理过程（提取人工特征等），可以直接输入原始数据。CNN能够实现上述独特功能的原因是它使用了局部连接(Sparse Connectivity)和权值共享(Shared We...

2019-06-07 20:19:40 966

原创 NLP学习01--BP神经网络

一.神经元模型如下图是深度学习（deep learning）中神经元的模型，神经元是进行计算的基本单元。其中x1、x2 和x3为输入，+1为偏置神经元进行计算的数学公式可表示为：上式中，F、w、b分别为激活函数，权重，偏置；其中，激活函数F有多重，常用激活函数有sigmoid，Relu和tanh等二.BP神经网络2.1 BP神经网络原理BP神经网络的工作原理图如下所示：最左...

2019-06-07 18:44:15 1311