NLP 总结

LSTM

三个门控制对前一段信息、输入信息以及输出信息的记忆状态，进而保证网络可以更好地学习到长距离依赖关系。

遗忘门（记忆门）：通过判断当前输入信息的重要程度决定对过去信息的保留度
输入门：通过判断当前输入信息的重要程度决定对输入信息的保留度
输出门：当前输出有多大程度取决于当前记忆单元

激活函数：

门：sigmoid，0-1分布概率，符合门控的定义。且当输入较大或者较小时，值会接近1或0，进而控制开关。
候选记忆：分布在-1~1之间，与大多场景下0中心分布吻合在输入为0有较大的梯度，使模型更快收敛

LSTM+CRF

找最优路径时，要从局部最优到全局最优，保存每个节点对应的得分最高的路径及其分数。最后一个时刻得分最高的节点对应的路径就是最优路径。