深度学习入门-识别手写0-9

利用神经网络的分层结构：

第一层：28*28=784个像素点的灰度值（Activation）

Hidden layers（“隐含层”）：从第一层中提出小局部，小局部构成大局部

最后一层：对应0-9的激活值（激活值越大，可能性越高）

主要原理：拆分成小块 

其中一层激活值通过计算得出下一层激活值 ，每两层之间的神经元连接通过设置合适的weights求出weighted sum 加 bias偏置（送入sigmoid压缩）-- 体现对应的局部     

only activete meanfully when weighted sum > 10  ->bias = -10

sigmoid function：very negative inputs end up close to 0，very positive inputs end up close to 1;

加入cost function，用gradient descent algorithm梯度下降算法使代价值以最快的速度达到最小（沿梯度方向函数增长最快，即沿梯度负方向函数下降最快）     mini batches           

backpropagation反向传播法 

基本思想：

反向传播算法不仅是说每个参数应该变大还是变小，还包括这些变化的比例是多大，才能最快地降低代价。

单个训练样本修改权重与偏置，同类数据将训练值所有的期待的改变加起来，就得到了一串对倒数第二层改动的变化量……循环到第一层 ，取各类训练数据的训练权值->平均值 。