- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory）
『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory）标准 RNN 在实际使用中能够有效利用的上下文范围很有限，这是由于经过若干次迭代，隐含层权重值要么消失要么爆炸。Long Short-Term Memory (LSTM)结构解决了这一问题。网络结构LSTM 具有记忆单元，每个单元含有记忆细胞和3个倍增单元（输入、输出以及遗忘门）。如图所示： 展示
2015-11-17 09:57:05
10125
1
原创 『RNN 监督序列标注』笔记-第三章 神经网络
『RNN 监督序列标注』笔记-第三章 神经网络多层感知机（Multilayer Perceptrons）多层感知机的输出仅仅取决于当前的输入，因此 MLPs 更适用于模式分类而非序列标注任务。仅仅具有单隐含层的 MLPs 就具有了以任意精度逼近任意连续函数的能力，因此也被成为通用函数拟合器（universal function approximators）。前向过程前向过程可以描述为 ah=∑i=
2015-11-16 00:38:27
8313
1
原创 谈谈深度学习中的 Batch_Size
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
2015-11-12 19:59:38
140403
18
原创 『RNN 监督序列标注』笔记-第一/二章 监督序列标注
『RNN 监督序列标注』笔记-第一/二章 监督序列标注 监督序列标注（Supervised Sequence Labeling）与传统的监督模式分类（supervised pattern classification）的不同之处在与样本点不能被当作是独立的。序列标注的特点输入和标签都具有强相关性。 输入与标签的对应关系是未知的。RNNs的优点与缺陷优点上下文信息非常灵活（因为它们能够学
2015-11-11 23:58:43
9568
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人