神经网络--假期---2020.2.7

第九课：最优化形象解读

 机器学习的本质：

优化 ：沿梯度下降的方向走

步骤：

1. 从x开始
2. 通过一组w参数，得到了一个的得分值f(x)
3. 把f(x)值经过了一个e^x变换，再做一个归一化，得到了它属于类别的概率值，然后就可以求他的loss值
4. 1-3x---loss叫做前向传播，要再进行一次反向传播才能优化这些权重参数

谁让损失值最低，w就引出反向传播。

 

第十课：梯度下降的方法原理

 卷积神经网络用BP算法，先正向传播得到loss值再反向优化参数

前向传播：

BP：一次迭代多张图像，Bachsize一般为2的整数次幂。

对w进行随机初始化

迭代次数通过看以万为单位

每次迭代把w进行修正，只要呈下降趋势就可以

1. 引入：把4000张图片跑完一遍叫做一个（1pouchi）1 epoch（时代，纪元）
2. 比如取了64张图像当做一个batch（一批），完成了一次前向传播加反向传播的过程
3. epoch和batch是两个完全不同的概念
4. epoch迭代完所有数据（跑完一个batch后得到的结果）得到一个epoch

学习率（LR）（让这个网络模型进行学习，w不太好，让w往好的方向去学，学多大，用学习率来去定义）：

1. 要设置小点，0.001,0.0001，通过大量的的次数学习率，来完成学习网络的操作，过大容易越过低估到 极大值
2. w-=（△w·LR）
3. 

反向传播

data_bach的意思是在数据集中取数据

体现在代码中有个step_size,再乘上更新梯度（weights_grad），最后把梯度进行一次更新，就完成了一次反向传播