人工智能学习笔记Day3

1.损失函数用来衡量真实值（标签）和预测值相差多少（训练预测）

2.全连接的方法进行分类，就是每一层都是Fc=WX+b这种形式进行W权重学习

3.前馈神经网络中，隐藏层的多少，每一层隐藏层有多少个神经元都是根据自己来规定的，但是输出层的个数是由学习任务来决定的

4.每个像素点都要进行学习，所以Fc=WX+b是：像素点 x 隐藏层神经元个数 + 隐藏层神经元个数 的形式 

5.drop-out：随机杀死一些神经元，drop-out一般在全连接层部分都要加上，卷积层不加，drop-out防止过拟合

6.DataLoader把一批次一批次的数据送给GPU

7.train训练阶段通过损失函数更新权重和偏置，validation验证阶段不更新权重和偏置参数

8.opt优化器：用来更新和优化权重参数和偏置参数的各种方法，例如有：Adam，SGD等

9.标准化的好处：对所有的特征去均值，此时所有样本点围绕原点中心对称。取值范围大的除以较大的标准差，取值范围小的除以较小的标准差，这样可以让特征更加规范，最后所有的样本点围绕原心对称，并且取值范围也很接近，而不是很离散的状态。例子：天气的温度特征取值范围为：-20到40，天气的日期取值范围为周一到周日，网络在学习的时候认为数值越大的特征越重要，因此会认为天气的温度特征比日期特征更重要，但这是不合理的，所以需要引入标准化的操作，让这些特征的取值范围围绕原心对称，并且更加合理和规范。

10.Pytorch框架只支持Tensor格式的数据进行操作

11.没有预训练模型的话，w（权重参数）和b（偏置参数）是通过随机初始化来赋予初始值的

12.torch框架帮我们直接把反向传播封装好了.backward()函数就好了

13.一批次一批次的计算损失，一批次一批次的反向更新参数

14.卷积神经网络的输入层和传统神经网络有些区别，训练模块基本一致

15.如果输入是图像数据：全连接神经网络认为输入图像的每个像素点是没有关系的，而卷积神经网络是通过滑动窗口（卷积核）来读取特征的，所以卷积神经网络会综合考虑窗口内的像素点，也就是它认为这个窗口内的像素点是有关系的，不像全连接神经网络认为是彼此独立的

16.输出特征图个数等于卷积核个数

17.卷积核的输入参数是固定的，由上一层的输出个数决定。卷积核的输出参数是我们自己决定的，我们想得到多少张特征图，就设置多少个输出通道（其实就是卷积核个数）

18.卷积核参数：输入通道数（和上一层输出一致），输出通道数（想要得到多少张特征图），卷积核大小，卷积核步长，padding

19.池化层不会改变特征图个数，只会改变特征图的h和w

20.卷积神经网络的最后一层（全连接层），会把卷积网络最后得到的特征矩阵（例如7*7*64）拉长（也就是拉成7*7*64=3136的一个特征向量），然后使用公式Fc=WX+b，那么这个公式中X就是3136，W权重参数就是类别数 * 3136的矩阵，b = 类别数