深度学习（二）：神经网络、卷积神经网络

一、神经网络总结

神经网路工作主要是找到最合适的权重参数矩阵，即w，神经元之间的连线。中间有激活函数进行非线性变换。

代码：

第一行创建一个Sequential模型。这是用于神经网络的最简单的Keras模型，它仅由顺序连接的单层堆栈组成。这称为顺序API。·

接下来，我们构建第一层并将其添加到模型中。它是Flatten层，其作用是将每个输入图像转换为一维度组：如果接收到输入数据X，则计算X.reshape（-1，1）。该层没有任何参数。它只是在那里做一些简单的预处理。由于它是模型的第一层，因此应指定input_sha pe，其中不包括批处理大小，而仅包括实例的形状。或者，你可以添加keras.layers.InputLayer作为第一层，设置input_shape=[28，28]。·

接下来，我们添加具有300个神经元的Dense隐藏层。它使用ReLU激活函数。每个D e n s e层管理自己的权重矩阵，其中包含神经元及其输入之间的所有连接权重。它还管理偏置项的一个向量（每个神经元一个）。当它接收到一些输入数据时，它计算公式10-2。·

然后，我们添加第二个有100个神经元的Dense隐藏层，还是使用ReLU激活函数。·

最后，我们添加一个包含10个神经元的De n se输出层（每个类一个），使用softmax激活函数（因为这些类是排他的）

二、卷积神经网络CNN

1、应用领域

计算机视觉–告诉计算机如何理解图像。
特征提取：检测任务、分类与检索（搜同款）、超分辨率重构、医学任务、无人驾驶、人脸识别、
音频，文本等都可以用卷积神经网络处理，智能处理数据结构呈现出图片的数据，即它像一个图片。例如表格不能处理
GPU:图像处理单元

2、卷积网络与传统网络的区别

传统：二维、
卷积：三维、多通道分别去做，RGB三颜色通道

卷积神经网络类似一个黑盒。
输入:二维的像数阵列及图片，输出就是这个图片是什么。

3、卷积神经网络具体步骤

1、卷积convolution：卷积核把原图中的特征提取出来。
2、激活函数 RuLU-Rectified Linear Units
修正单元激活函数。抹零，大于0就是它本身，小于0令其等于0.
3、池化pooling：对于自动驾驶，人脸识别，要求毫秒级别的计算，所以必须把图像进行缩小。将得到的feature map缩小，以下为三颜色通道RGB.
通过牺牲一部分信息，减少数据量。这是在我们可接受的范围内的。图像变小了，但是特征依旧能够保留下来。
分为两种：最大池化，平均池化

图片有三个RGB三颜色通道，分别做内积。步长为2。
多次卷积
4、全连接层 Fully connected layer
5、损失函数：将神经网络得到的结果与真实的结果进行一个误差的计算。
目标是把损失函数降到最低–求导–通过修改卷积核的参数，修改全连接每个神经元的权重，进行微调，使得神经元损失函数最小。
一层一层把误差反馈回去，所以叫反向传播，反馈到第一个卷积核上，对卷积核的参数进行修改。

人给神经网络大量的数据，它自己进行学习，特征提取。

6、梯度下降：求导找到一个最低值，把损失函数降到最低–学习成功。找到的一个导数最小是，所以叫做梯度下降，因为梯度就代表导数，只不过是多维函数的导数。

卷积参数共享：每个位置都是选择相同的卷积盒。

池化层

压缩

2、卷积神经网络的整体架构

通过卷积进行特征提取—池化压缩–再卷积

七层神经网络，只有带参数计算的才称之为一层神经网络，relu激活函数层和池化层不算。
特征图变化：

4、经典的卷积网络框架

（1）12年，存在一些不足

（2）14年，卷积大小都是3*3，16层网络
vgg会弥补pool池化的损失（损失一些信息），通过将特征值信息翻倍（在下一次卷积时，即增加卷积核的个数）。

（3）残差网络15年–特征提取–通用网络结构

image net网站