- 博客(5)
- 资源 (1)
- 收藏
- 关注
原创 LSTM与BI-LSTM
文章目录从RNN到LSTMLSTM模型结构剖析LSTM之遗忘门LSTM之输入门LSTM之细胞状态更新LSTM之输出门LSTM前向传播算法LSTM反向传播算法推导关键点从RNN到LSTM在RNN模型里,我们讲到了RNN具有如下的结构,每个序列索引位置t都有一个隐藏状态h(t)。 如果我们略去每层都有的o(t),L(t),y(t)o^{(t)}, L^{(t)}, y^{(t)}o(t),...
2019-08-21 10:16:58 23781 2
原创 RNN(循环神经网络)
文章目录RNN概述RNN模型RNN前向传播算法RNN反向传播算法推导RNN小结DNN的特例CNN的模型和前向反向传播算法,这些算法都是前向反馈的,模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络:循环神经网络(Recurrent Neural Networks ,以下简称RNN),它广泛的用于自然语言处理中的语音识别,手写书别以及机器翻译等领域。RNN概述在...
2019-08-20 15:00:39 761
原创 DNN
文章目录前向传播从感知机到神经网络DNN的基本结构DNN前向传播算法数学原理DNN前向传播算法反向传播算法(BP)DNN反向传播算法要解决的问题DNN反向传播算法的基本思路DNN反向传播算法过程损失函数和激活函数的选择均方差损失函数+Sigmoid激活函数的问题使用交叉熵损失函数+Sigmoid激活函数改进DNN算法收敛速度使用对数似然损失函数和softmax激活函数进行DNN分类输出前向传播...
2019-08-19 16:55:11 3588 2
原创 LSA、PSLA、LDA和lda2vec进行主题建模
文章目录概述LSA代码实现PLSA在自然语言理解任务中,我们可以通过一系列的层次来提取含义——从单词、句子、段落,再到文档。在文档层面,理解文本最有效的方式之一就是分析其主题。在文档集合中学习、识别和提取这些主题的过程被称为主题建模。概述所有主题模型都基于相同的基本假设:每个文档包含多个主题;每个主题包含多个单词。换句话说,主题模型围绕着以下观点构建:实际上,文档的语义由一些我们所...
2019-08-18 21:10:30 502
原创 条件随机场
文章目录概率无向图模型模型定义概率无向图模型:概率无向图模型的因子分解条件随机场的模型表示linear-chain 条件随机场CRF 的定义CRF 的参数化形式CRF 的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS算法条件随机场的预测算法条件随机场(conditional random field,以下简称CRF) 是给定一组...
2019-08-03 09:47:37 371
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人