深度学习进阶之第5章 手写数字识别

人脑识别图像:

【deeplearning是由New network演变而来的】

人脑: 大脑视觉皮层V1, 包含140,000,000神经元; 数百亿个连接, 还有V2,V3,V4,V5
         人脑进化几千年

计算机识别图像:

【计算机识别图像： 读到的数据都是数字矩阵】

神经元:

今天去不去踢球?


天气冷吗?
跟我常配合的好友去吗?

是不是晚饭前?

w1 = 2, w2 = 6, w3 = 3, threshold = 5

实际模型更加复杂:


w,x 是向量, b=-threshold
b:多容易输出1,或者大脑多容易触发这个神经元


相当于与非门 (NAND gate):

输入00, (−2)∗0+(−2)∗0+3=3,    输出1
输入11, (−2)∗1+(−2)∗1+3=−1, 输出0


与非门可以模拟任何方程!



Sigmoid 神经元:



8->9

为了模拟更细微的变化,输入和输出数值从0和1,到0,1之间的任何数【0.001，0.09......从01两维变为无数个数，并且变化过程是渐变的】

使用sigmoid function方程的好处：当Z值变化较小的时候，y值变化也比较小，变化过程比较平缓；当z值无限大的时候，y值无限趋近于1.

作为神经网络中的激活函数，其作用就是引入非线性。具体的非线性形式，则有多种选择。

sigmoid的优点在于输出范围有限，所以数据在传递的过程中不容易发散。当然也有相应的缺点，就是饱和的时候梯度太小。

sigmoid还有一个优点是输出范围为(0, 1)，所以可以用作输出层，输出表示概率。

另一个优点：求导容易。