xiaomeng29的博客

转载地址：https://blog.csdn.net/aws3217150/article/details/70214422上面的文章写的非常好，不多做介绍，只说下自己对于两种自动微分的理解。1. 首先不认同后向自动微分就是backprop这种说法，只能说两者都依赖于chain rule，形式上类似。且NN的backprop的情况是，输入x确定，结构不确定；反观后向微分，是x不确定，而结构...

滑动平均在对于数据做统计的时，数据抖动是一个很常见的现象，如何防止这种抖动是我们感兴趣的。滑动平均就是这样一种技术，其本质是借助历史记录来创造可以替代原始数据的数据。举个例子，下图是伦敦一年四季温度变化的图片，横轴为时间（天为单位），纵轴为一天的平均温度：温度记录theta为如下所示：我们使用以下公式来计算加权平均温度vt： ...

参考文献：[1]神经网络与深度学习(邱锡鹏)

转载地址：Written Memories: Understanding, Deriving and Extending the LSTM这篇文章前半段讲得挺好的，尤其是梯度消失那一块，并没有从BPTT的角度解释；而是从状态变化近端远端相互影响的角度。文章后段充斥着各种引用，文字个人感觉不够精炼~~，非有精力和有时间的人不能细读。这篇文章的简化易懂版：https://medium.com/...

先说说深度学习最后一层激励函数，主要分两大类，softmax和sigmoid；sigmoid针对二分类问题，只需要一个标量的输入即可计算激励函数（当然输出也是一个标量）： ...