一、深度学习笔记（一）

 文章目录

• 前言
• 一、机器学习
• 二、分类与回归问题
• 三、超参数
• 四、网络搭建
• 总结

前言

本文主要是记录人工智能学习的第一堂课的学习成果。

一、机器学习  

机器学习是利用数据形成模型，通过模型对规律进行预测的一种方法。

（有标签：监督学习                  无标签：无监督学习）

二、分类与回归问题

分类：离散变量

很明显能分辨出两个不同的区块，从而辨认所需答案

回归：连续变量

预测一个值，能形成一条连续的回归方程从而预测规律

两者本质上都是通过映射关系来体现规律，可以互相转化

三、深度学习中所包含的超参数

参数是利用数据进行驱动调整，而超参数是人为操作进行调整

超参数分类：网络参数、优化参数、正则化参数

①网络参数：不太理解 以后再补充

②优化参数：※学习率：学习速率主要的目的是控制梯度下降的步长，直接影响到模型的有效容限能力。

 

                       批样本数量（batch size）：一次训练所选取的样本数，大小影响模型优化程度和速度，GPU内存不大数值可以设置小一点更利于运行。一定范围内，batchsize越大，其确定的下降方向就越准，引起训练震荡越小。要尽量让GPU满载运行，提高训练速度。

③正则化参数：使用默认推荐值即可。
 

四、网络搭建

1、全连接层（输出层）：  所有都连接在同一目标上，最后汇总在一个目标，作者愿称其为九九归一。

2、卷积层：  卷积是一种有效提取图片特征的方法 。 局部感知→对局部进行总和操作→全局信息get  图片分灰度图和彩色图，卷积核可以是单个也可以是多个，因此卷积操作分以下三种情况： 

输入层——模型需要输入的预进行操作，常见输入层中对图像预处理方式：1）零均值化    2）数据归一化    3）PCA和白化

设置合理的卷积核才可以得到图片对应的数据。

①单通道输入，单卷积核：单通道指的是输入为灰度图，单卷积核值卷积核个数是1个。

例如我们输入一个5*5*1的图片，5*5为分辨率，1为通道数，使用一个3*3*1的卷积核对其进行卷积，偏置项b=1，则计算过程为  （第一列）-1*（该空所在数）+（第二列）0*（该空所在数）+（第三列）1*（该空所在数）+b = 卷积的值 。

②多通道输入，单卷积核：多数情况下，输入的图片是 RGB 三个颜色组成的彩色图，输入的图片包含了红、绿、蓝三层数据，卷积核的深度（通道数）应该等于输入图片的通道数。

③多通道输入，多卷积核：

 卷积操作后，输出的通道数=卷积核的个数
默认情况下，卷积核的通道数=输入的通道数
偏置数=卷积核数

3、池化层：  取不同区域内最大/平均值输出通道。也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。

4、激活函数：  Y=WX+b、

激活函数通俗来讲就是非线性函数，目的是用来增加神经网络的逼近能力，使深层神经网络表达能力更加强大

常见的激活函数有 { 阶跃函数、符号函数 }

两者在 z=0处是不连续的，其他位置导数为 0，这就使得无法利用梯度下降算法进行参数优化。

常见激活函数

 5、BN操作：  Batch Normalization 批标准化

作用：可以使用更大的学习率，加快训练速度，降低变化带来的不确定性。

Batch Normalization的目的就是使我们的feature map满足均值为0，方差为1的分布规律。

提示：这里对文章进行总结：
以上就是今天要讲的内容，本文是作者学习的笔记记录，如有不正确或补充内容麻烦指出。