深度卷积神经网络原理与实践笔记

写在前面：作者目前在准备计算机视觉的毕业设计，已经学完了一部分的理论基础和编码基础，但是视频中所学的远远不够，所以在读神经网络的有关书籍，现在将笔记以个人博客的形式发布，一方面加深自己的印象，另一方面希望可以在这里与研究深度学习的朋友学习交流一下。如有错漏之处，敬请指正。

第一章机器学习基础

机器学习的任务

1. 分类
   离散的标签类别
   是自变量到Z的映射
2. 回归
   连续的标签类别，
   是自变量到R的映射
3. 排序
4. 聚类
   将一组物理的或抽象的对象，根据相似性分为若干不相交的簇
5. 降维
   将高维属性空间的样本映射到低维空间并保证有效信息不丢失

机器学习的策略

1. 有监督学习
   让函数输出值与真实标签之间的误差最小
2. 无监督学习
   发掘样本集的规则
3. 半监督学习
4. 强化学习

过拟合和欠拟合

过拟合： 训练集表现好，测试集表现差
原因：泛化差，模型过于复杂或者样本数量少缺少代表性
欠拟合： 模型在训练集上表现很差
原因：模型过于简单；特征数量少

第二章卷积神经网络基本原理

卷积层

卷积神经网络之所以在计算机视觉和视频图像处理功能强大主要是依靠特征提取，实现特征提取的核心的卷积层。

图像的卷积

在图像的处理中，参与卷积的是两个信号，一个是输入图像，另一个是卷积核（滤波器）

1. 一维图像的卷积
2. 二维图像的卷积

卷积神经网络中的卷积运算

神经网络的卷积类似于图像的卷积，不过加入了一些概念
3. 单通道的卷积运算
设输入图像为二维矩阵I，卷积核K为mxn的矩阵，卷积结果为S。
其中S称为特征图，K中的元素称为权值，卷积核每次在图像上移动的像素数称为步长。

4. 多通道卷积运算
   当输入有多个通道（彩色图），卷积核需要拥有相同数量的通道数，设有c个通道，将卷积核与对应的输入数据通道进行卷积，再相加，输出一个单通道的特征图。
5. 填充操作
   以上实例，卷积核需要与输入的数据完全重合，因此卷积核无法移动到数据的边缘，导致输出的特征图会变小，若网络层级深，会导致数据信息丢失严重。
   1、零填充
   2、重复填充
   3、常数填充

卷积的作用

卷积可以图像去噪或特征提取。

卷积层的参数

卷积层包含一个或数个尺寸相等的卷积核，利用这些卷积核分别对输入数据卷积，得到多个特征图。
一张图像可能有大量特征，因此单个卷积核或少量卷积核去提取特征不现实，因此一般会有大量卷积核。

1. 卷积核的通道数
2. 卷积核的尺寸
3. 卷积核的个数
4. 步长
5. 填充参数

特殊卷积

1. 1X1卷积
2. 全局卷积
3. 空洞卷积
4. 反卷积