卷积神经网络

一、神经网络

 （1）深度学习是什么

       深度学习（Deep learning）是实现及其学习算法的技术，机器学习（Macine learning）是实现人工智能的方法。

 （2） 神经元——最小的神经网络

神经元->激活函数sigmoid->二分类逻辑斯蒂回归模型

多输出神经元->softmax->多分类逻辑斯蒂回归模型

目标函数：衡量对数据的拟合程度。有平方差损失和交叉熵损失。其中交叉熵损失更适合多分类.

Tensorlow声明式编程和命令式编程的区别和联系以及各自优缺点：

（3）神经网络训练的优化 

缺点：①每次都在整个数据集上计算Loss和梯度，计算量大，并且可能内存承载不住

           ②梯度方向确定的时候，仍然是每次都走一个单位长度，速度太慢

优化：①随机梯度下降，每次只使用一个样本

           ②Mini-Batch梯度下降，每次只使用一小部分数据进行训练，梯度下降存在震荡问题，存在局部值和saddle point问题。

动量梯度下降SGD：

       开始训练时，积累动量，加速训练。相同方向的向量可以叠加

      ①局部极值附近震荡时，梯度为0，但是由于积累的动量，可以跳出陷阱。

      ②梯度方向改变时，缓解动荡。

二、卷积神经网络

（1）神经网络遇到的问题

1.参数过多

    ①容易过拟合，需要更多的训练数据

    ②收敛训练到较差的局部极值

    解决办法：

    ①局部连接（图像的区域性）

    ②参数共享（特征与位置无关）

其余较为简单基本概念不再做解释，以下为本人对多通道的学习笔记，有问题望指点。

（2）什么是通道channels

 如上图，输入为32*32大小的图片，有通道3个，有filter即卷积核6个，每个卷积核3通道。

一个卷积核的通道数与它进行卷积的输入必须是相同，例如上图中输入图像3通道，过滤器filter也是3通道。

有几个卷积核，卷积核的深度就是多少。

具体可以学习文章https://blog.csdn.net/qq_35437792/article/details/121023998

（3）激活函数

激活函数具有单调性，是非线性函数 。

如果使用线性函数，一个很深的网络也相当于一个单层神经网络。

其中Relu在卷积神经网络中常用。例如图片右侧距离，将所有负数都变为0，所有正数都不变。

(4)池化——最大值池化

池化是计算量及精度之间的交换

性质：

①常使用不重叠、不补零，多的数据就会直接丢掉。（区别于前面padding使输出size不变即和输入一样大）

②没有用于求导的函数

③池化参数为步长和池化核大小（一般默认步长和池化核大小一样就可以防止重叠）

④用于减少图像尺寸，从而减少计算量（池化的目标及作用）

⑤一定程度上解决平移鲁棒

⑥损失了空间位置精度

（5）全连接层——将上一层输出展开并连接到每一个神经元上

注意，展开之后的是一维，其后可以再添加全连接层但是不能添加池化层和卷积层。

性质：

①即普通神经网络层

②相比卷积层，参数数目较大

③参数数目 = Ci*C0，分别为输入/输出通道数目

总的来说一句话：卷积神经网络 = 卷积层+池化层+全连接层

                             全卷积神经网络 = 卷积层+池化层