weixin_61573157的博客

总之，他奶奶的，你现在搞的什么LSTM，什么transformer这都不是什么算法不算法的，你根本没这资格提什么算法；你根本也沾不到什么算法的边，你顶多只能说你是搞深度学习的，单纯套用深度学习网络利用keras这些框架搭建自己的深度学习模型，用于解决一些实际的问题。（顶多调一下参数啥的，这叫优化模型效果，又不是优化算法！优化算法那是直接提升模型的训练速度和训练效果的上限！你这能不能调参到上限都不知道还隔着说自己搞算法算法，no face了兄弟！所以，我是做啥的，我是做深度学习的！！！而且是深度学习应用的！

由Google开发使用静态计算图广泛应用于生产环境有较为完善的部署工具由Facebook开发使用动态计算图更加灵活,适合研究和快速原型开发相对更加直观和易于调试最初是一个独立的高级API,现已成为TensorFlow的一部分提供更简单、更用户友好的接口可以使用TensorFlow或Theano作为后端适合快速实验和原型开发。

NLP--notebook1--文本向量化理论 (kaggle.com)

本文解释了LSTM的背景以及基本原理，还有LSTM网络的整体结构以及单元体结构，结合动态图以及数学公式推导分析，还介绍了LSTM的代码以及代码中LSTM输入数据的分析！非常非常的详细和适合初学者！

RNN的来源，基础理论，数学推导，代码

Bi-LSTM(Bidirectional Long Short Term Memory)网络是是一种基于长短期记忆网络（LSTM）的时间序列预测方法；（其实就是两个LSTM组合在一起，具体的原理和结构和LSTM一样啦)Bi-GRU的整体结构由两个方向的GRU网络组成，

2.1.1 GRU的整体结构（宏观上看）GRU的基本结构也是跟lstm一样的；1.在垂直于时间步方向上，每一个时间步都有一个BP网络，包括输入层、隐藏层和输出层。输入层接收输入序列，隐藏层包含GRU单元，输出层输出预测结果。GRU单元的主要组成部分包括更新门（update gate）和输出门（output gate）。2。在平行于时间步方向上，包含在中间绿色的隐藏层中的GRU单元体，沿着时间步方向传递隐藏状态ht（就是平行于时间轴的那一堆五颜六色的线），从而传统历史信息。