人工智能学习笔记Day1

1.如果是10分类问题，那么w是权重向量，并且有10个权重向量，x1，x2是图片上的像素点

2. 预训练模型很重要，因为它给了比较好的初始化权重（初始化权重如果是随机的，其实是不好的）

3.正则化惩罚项：让模型知道哪个权重比较好，防止过拟合，有很多种正则化惩罚项方式。正则化惩罚项一般加在损失函数里。

4.batch_size越大越好

5.分类任务本类别不关注预测成为其他类别的概率（训练阶段）

6.反向传播公式推导 不需要在意，知道是用来更新权重的就行了

7.前向传播的作用就是得到损失

8.数据预处理，归一化，去均值等

9.多少个卷积核得到多少张特征图

10.热度图：权重参数关注图像中的哪个区域

11.padding：为了使卷积过程中每个像素点都计算公平（若没有，中间的像素点计算更多次）

12.卷积层涉及参数：滑动窗口步长，卷积核尺寸，边缘填充， 卷积核个数

13.卷积核在不同区域采用权重参数共享的方式进行特征提取（卷积计算）

14.池化层：压缩了特征图长和宽，方式有：最大池化，平均池化等

15.激活函数：引入非线性因素，例如：relu激活函数，当x<0的部分，y值全为0，也就是抑制了x<0的部分的特征值

16.全连接层（FC）的作用：将前面得到的特征图展开成为一个向量，然后做一个矩阵运算（Fc=WX+b），进而进行分类

17.经典网络：AlexNet，VGG，RestNet

18.大卷积核和小卷积核的比较：堆叠小的卷积核所需要的参数更少，并且卷积过程越多，特征提取也会越细致，加入的非线性变换也随着增多，还不会增大权重参数个数

19.CNN的问题：特征提取只关注相邻的像素点，没有考虑全局信息（通过多层卷积核堆叠可以实现）