[入门笔记]神经网络浅讲：从神经元到深度学习

原文：神经网络浅讲：从神经元到深度学习
这篇文章介绍很好，深入浅出、很容易懂但是该有的东西都讲到了，一口气看下来会觉得很爽。因为文章很长所以下面主要是上文中的一些摘抄。

–

神经网络的“三起三落”

1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。
神经元：


影响：
1943年发布的MP模型，简单却建立了神经网络大厦的地基。但MP模型中，权重的值都是预先设置的，因此不能学习。1949年心理学家Hebb提出了Hebb学习率，认为人脑神经细胞的突触（也就是连接）上的强度上可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习。这为后面的学习算法奠定了基础。尽管神经元模型与Hebb学习律都已诞生，但限于当时的计算机能力，直