NLP 总结

LSTM在这里插入图片描述

三个门控制对前一段信息、输入信息以及输出信息的记忆状态,进而保证网络可以更好地学习到长距离依赖关系。

遗忘门(记忆门):通过判断当前输入信息的重要程度决定对过去信息的保留度
输入门:通过判断当前输入信息的重要程度决定对输入信息的保留度
输出门:当前输出有多大程度取决于当前记忆单元

激活函数:

门:sigmoid,0-1分布概率,符合门控的定义。且当输入较大或者较小时,值会接近1或0,进而控制开关。
候选记忆:分布在-1~1之间,与大多场景下0中心分布吻合在输入为0有较大的梯度,使模型更快收敛

LSTM+CRF
在这里插入图片描述
找最优路径时,要从局部最优到全局最优,保存每个节点对应的得分最高的路径及其分数。最后一个时刻得分最高的节点对应的路径就是最优路径。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页