多敲代码！

同志们，最后一章了哦~~~~本章主要介绍采用深度学习方法实现对MNIST数据集的识别。大家可能好奇，MNIST数据集以及书中第三章的编程代码怎么没有，我也是查了网上很多资料，都没有和书上匹配的，就在刚才，突然发现书皮后面有个二维码，就是下图，扫码就可以下载，真是呜呜呜了~~~当时找的好辛苦！！！...

当当当当！！！终于到正题了！！！1. CNN（convolutional neural network, CNN）：同样通过组装层实现，不过新出现了卷积层（convolution层）和池化层（pooling层）2. 为什么要用卷积层（convolution）：全连接层缺点：数据的形状被“忽视”，如：输入数据是图像时，其高、长、通道方向上的3维数据需要拉平至1维数据。而3维形状中含有重要的空间信息，如：空间上相邻的像素为相似的值、RGB的各个通道之间分别有密切的关联性、相距较远的像素之间没有什

复习知识：最优化：寻找最优参数，解决这个问题的过程的方法即最优化。随机梯度下降法（stochastic gradient descent ,SGD）：为找到最优参数，将参数的梯度作为线索，沿梯度的方向更新参数，并重复步骤多次，从而逐渐靠近最优参数的过程。即：用右边的值更新左边的值，SGD是朝着梯度方向只前进一定距离的简单方法。缺点：如果函数的形状非均向（anisotropic），比如呈延伸状，搜索的路径就会非常低效。根本原因是：梯度的方向并没有指向最小值的方向。如下图：改进方法：Momen

好久没更了，不过这回是学完了整本书，一下子更新4章完事儿。欢迎大家给出意见和建议呀！！！1. 误差反向传播法：是能够高效计算权重参数的梯度方法，可以通过反向传播高效计算导数。正确理解该方法：一是基于数学式：严密简洁；二是基于计算图（该章重点）：直观。2. 计算图：大致如下图所示，虚灰线代表正向传播，黑实线代表反向传播：将局部导数从右向左传递，原理是基于链式法则的（可以通过黑实线下面数字高效计算导数）。反向传播导数运算原理如下：3. 链式法则：引入复数运算来解释，如下图所示:

“学习”目的：从训练数据中自动获取最优权重、偏置参数，使得损失函数达到最小。▲注：若有100个训练数据，要把100个损失函数的总和作为学习的指标。即：假设有N个数据，tnk表示第n个数据的第k个元素的值，ynk是神经网络的输出，tnk是监督数据。得到E为单个数据的平均损失函数。▲注：为使损失函数达到最小，需要计算权重、偏置参数的导数（准确的说是梯度），然后以这个导数为指引，逐步更新参数的值。●若导数值为负，改变参数向正向变化，减小损失函数值；若导数值为正，改变参数向负向变化，减小损失函数值。.

写在前面：由于本书的前两章内容比较基础，所以专栏中没有整理相关知识点，但不影响对本书的学习哦~~~感知机：可以表示复杂函数，但是设定权重的工作还是由人来完成。神经网络：自动的从数据中学习到合适的权重参数。● 朴素感知机：单层网络（权重层数），指激活函数为 阶跃函数。●多层感知机：神经网络，即使用sigmoid函数等平滑的激活函数的多层网络。这里是引用激活函数：将输入信号的总和转换为输出信号，作用在于决定如何来激活输入信号的总和。●Sigmoid函数：很早就被使用。●ReLU