Neural networks basic

http://neuralnetworksanddeeplearning.com/chap1.html

https://www.cnblogs.com/LittleHann/p/6629069.html?utm_source=tuicool&utm_medium=referral

 

找到一个函数，使得对于整个数据集，整体误差最小。

 

引用

“
想到Eric Xing在课上说的一句话，"People in the deep learning community love to invent new words"，他想说的大概是GAN，但back propagation也一样。Back propagation的本质就是复合函数求导（following the chain rule），讲道理你可以对这个网络里的每一个参数分别求偏导，但何苦呢，因为计算过程中的很多项都是重复的，何不合理利用好？为了不重复运算把把后层算好的导数传回前层，因为前层一定用得到，就是这么一个道理。

”

“
sigmoid函数比阶跃函数更加的平滑，这种平滑性也就意味着权值和偏置的微调可以使得输出也产生微小的变化。
有人可能觉得引入一个MSE很是唐突。因为我们的目的是提升数字识别的精确度，那为什么不直接通过调整网络参数来提高精确度呢？原因是数字识别的准确度和网络参数之间并没有很平滑的函数关系，也就没法通过调整参数来较好的实现准确度的提高。反之，利用MSE就可以达到这一效果。

”