从深度学习到CNN，RNN入门笔记

超级参数：手动输入的产生。
曼哈顿距离 是绝对值
欧氏距离 平方
损失值： 当前的权重，拟合是好还是不好，损失值越低越好，拟合越逼。

梯度下降：
从山上往下下降，沿着下降速度最陡峭的方向下降。
梯度方向：是当前值上升的方向的反方向。 负导数。
步长：太大，容易错过最低点。错过最优解。
太小，时长太长。

bachsize 批处理
一次传进来一张图像，更新参数，图像本身可能有问题，噪音，标注问题等。
1张图像数据传进来，未必会导致参数朝正确的方向更新。
bachsize 一次传进来一批数据，通过计算其平均更新方向，然后再去更新数据。这样更确保参数朝着正确的方向更新。

学习率：

学习率 通常需要调节的低一些
高学习率 会导致 不收敛
学习率偏低一些，尽管速度慢，但是会照着loss下降的方向
刚开始 学习率 偏大一些 ，随着迭代次数的增加，缩小学习率。
epoch 值 5w个数据 1次批处理100 epoch需要500次。

外循环 epoch
内循环batch size

神经网络分为三部分： 前向传播 反向传播 参数更新

链式法则
从后往前，一步一步去做求导

反向传播，遵循链式法则，层层求导
绿色是正向传播
红色是反向传播

神经网络：
X和W组合 算 得分值，和 实际值 做差 算 损失值，加上R 对权重参数惩罚，得到最后的损失函数，反向传播更新参数。

神经网络特点：
第一个特点：层次结构
输入层 小猫图像
隐藏层 猫的特征：眼睛，耳朵，爪子等 提取特征
输出层
神经网络会进行特征的自动提取。直接拿取原始的数据
特征工程： 针对数据，进行特征提取。

3 4 4 1
3个到4个，通过权重参数矩阵，进行转换。
4为中间隐藏的特征。
全链接层，将输入转换成特征。
第二个隐藏层又进行了下一步的特征提取。

第二个特点： 非线性
通过激活函数进行

中间神经元 是 特征提取 可以进行 维度的变换

中间神经元 是 1的时候，相当于 1组 权重参数 1个特征
中间神经元 是 2的时候，相当于 2组 权重参数 2个特征
中间神经元 是 3的时候，相当于 3组 权重参数 3个特征

针对非常难分割的数据，提升 中间隐藏层个数就 可以分割开
提升空间维度，每个维度上的映射不一样，把这个系统在高纬度空间就可展开了

神经网络缺点： 容易过拟合，缺乏泛化性。

过拟合：
最左边的图，就是过拟合，为了满足个别离群点，异常点，从而改变了分割结果。

模型越平稳，越好，泛化能力强。
增加 惩罚权重参数。
栏目大 调大栏目大值 增大惩罚项。

越多的神经元 过拟合的风险越高。

激活函数：
Sigmoid函数

中间 出现 某层 导函数 为 0，后面传递就废了，全都为0了。
无法满足神经网络的需求。

ReLU激活函数
梯度不会消失
计算简单

数据预处理：

原始数据 进行 中心化处理 通过减去 均值
归一化 除以 标准差

sklearn专门库 在处理数据不大情况下，足够了。

权重系数，初始化————高斯初始化

drop_out: 防止神经网络过拟合 的操作措施
训练的时候，使用部分神经元，测试的时候，使用全部神经元。
图中打叉神经元就不更新了，不进行反向传播和参数更新了。
drop_out是随机选择神经元保存。比如：每一层保存60%的神经元，剩余不更新。
目的是防止过拟合。