attention RNN LSTM Gru gate dropout 隐马尔可夫链

attention

注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。
原文：https://blog.csdn.net/guohao_zhang/article/details/79540014
Attention机制的基本思想是：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。
Attention机制的实现是 通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。
attention的机制就是一个加权求和的机制

RNN

Gate

划分英语句子

Gru

重置门（reset gate）和更新门（update gate)

rt表示重置门，
决定有多少历史信息不能继续传递到下一时刻。同更新门的数据处理一样，将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵，然后相加后的数据送入重置门，也就是与sigmoid函数相乘，得出的数值在[0, 1]之间。只是两次的权重矩阵的数值和用处不同。
zt表示更新门。
决定有多少过去的信息可以继续传递到未来。 将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵，然后相加后的数据送入更新门，也就是与sigmoid函数相乘，得出的数值在[0, 1]之间。
1重置门rt决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门）
2将先前隐藏状态ht-1和遗忘门输出的向量进行点乘。当rt趋于0的时候，前一个时刻的状态信息ht−1会被忘掉，隐藏状态会被重置为当前输入的信息。
3得到了新的隐藏状态ĥ ， 但是还不能直接输出，而是通过更新门来控制最后的输出：ht=(1−zt)∗ht−1+zt∗ĥ t

LSTM

GRU和LSTM的性能在很多任务上不分伯仲。
GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。
从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget，input，output），GRU直接将hidden state 传给下一个单元，而LSTM则用memory cell 把hidden state 包装起来。
原文：https://blog.csdn.net/u012223913/article/details/77724621

dropout

dropout是指在训练一个大的神经网络的时候，随机“关闭”一些神经元，即把这些神经元从网络中“抹去”，这相当于在本次训练中，这些被“抹去”的神经元不参与本次训练，英文即是“dropout”的意思
典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元

马尔可夫链

具备离散状态的马尔可夫过程，通常被称为马尔可夫链
在马尔可夫链的每一步。系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变称为“迁移”，与不同的状态改变相关的概率称为“状态迁移概率”。马尔可夫链的典型例子包括：随即游走，PageRank算法。
用状态一直乘以它的转移矩阵，到一定次数之后状态会趋于稳态
主要关注点在当前状态以及它的转移矩阵（当前状态是今天为雨天的概率为0.5，转移矩阵为今天为雨天且明天为晴天的概率是0.8）

隐马尔可夫链

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析
在隐马尔可夫模型中，转移矩阵中有些因素往往是不可见的，需要从另外一些可观测的参数中获取
我需要从观测每天早上的露珠来确定是否晴雨天（晴雨天的概率无法直接观测）

1. 但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，

2. 而最大熵隐马模型则解决了这一问题，可以任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉，

3. 而条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。