纯分享，内容不固定，平时学到什么发什么（非涉密内容），没有积分的话下载内容可以在相关博客下评论区留邮箱，看见了都会发的。

RNN和LSTM的反向传播公式推导这篇博客主要推导RNN和LSTM的反向传播公式，以便更好的理解RNN和LSTM的运算文章目录RNN和LSTM的反向传播公式推导一. RNN1. RNN正向传播2. RNN梯度计算二. LSTM1. LSTM正向传播2. LSTM反向传播总结一. RNN1. RNN正向传播h~t=Wxt+Uht−1+b\widetilde h_{t}=Wx_{t}+Uh_{t-1}+bht​=Wxt​+Uht−1​+bht=tanh⁡(h~t)h_{t}= \tanh(\wi

文献综述：基于FPGA的RNN硬件加速这篇博客是基于一些文献对RNN硬件加速的各个模块的总结文章目录文献综述：基于FPGA的RNN硬件加速一. 剪枝1. 稀疏剪枝2. Top-k剪枝3. Circulant矩阵4. 三种剪枝方式的对比二. 量化1. 线性量化2. 非线性量化（对数量化）3. 两种量化方式的对比三. 激活函数1. 查找表的方式（LUT）2. 分段线性函数替代非线性函数参考文献一. 剪枝LSTM虽然解决了梯度消失的问题，但由于引入了很多门控单元，导致参数量很大。然而由于神经网络的鲁

LSTM学习序列信息的原理这篇博客从简单的多层感知机（MLP）讲起，讲述了RNN网络如何发展到现在的LSTM结构，以便充分了解LSTM中各个门控单元的作用以及LSTM为何能学习到序列信息文章目录LSTM学习序列信息的原理一、感知机（Perceptron）1.矩阵向量乘法运算（MVMs）2.添加偏置（bias）3. 激活函数二、多层感知机（MLP，Multilayer Perceptron）三、RNN（Recurrence Neural Network）四、LSTM1. LSTM without a