机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12

Day11 when gradient is small……

怎么知道是局部小 还是鞍点？

using Math

这里巧妙的说明了hessan矩阵可以决定一个二次函数的凹凸性 也就是$\theta$ 是min 还是max，最后那个有些有些 哈 是一个saddle；
然后这里只要看hessan矩阵是不是正定的就好（详见 线性代数）

example – using Hessan

奇怪这里为什么不是主对角线呀，难道两个都一样嘛 晕死，得复习线代了

Dont afraid of saddle point(鞍点)

征向量 u 和对应的特征值 λ定义为满足下列关系的向量和标量：Hu=λu

在梯度下降算法中，我们希望选择使得 L*(*θ) 减小的 θ 方向。如果 λ<0，则向 u 的方向移动参数 θ 会减小损失函数 L(θ)。

换句话说，如果我们发现了一个负特征值λ 和相应的特征向量u，我们可以通过沿着 u 的方向更新 θ 来降低损失函数的值。这就是图中所说的“Decrease L”的含义。

local minima VS saddle Point

引入高维空间的观点，解决local minima的问题：我们很少遇到local minima；

Day12 Tips for training :Batch and Momentum

why we use batch?

前面有讲到这里, 前倾回归

​

这里大家记得问自己一个问题：一个epoch 更新多少个参数？nums（batch）* parameters

例如，如果你有100个batch，那么在完成一个epoch后，每个参数会被更新100次。

shuffle ：有可能batch结束后，就会重新分一次batch

small vs big

这里举了两个极端的例子，也是我们常见的学习方法：取极限看效果

未考虑平行运算（并行 --gpu）

over fitting： 比较train 和test

Aspect	Small Batch Size（100个样本）	Large Batch Size（10000个样本）
Speed for one update (no parallel)	Faster	Slower
Speed for one update (with parallel)	Same	Same (not too large)
Time for one epoch	Slower	Faster
Gradient	Noisy	Stable
Optimization	Better	Worse
Generalization	Better	Worse

batch is a hyperparameter……

Momentum

惯性

知道学到这里想到什么嘛……粒子群算法的公式不知道你们有没有了解，看下面那个w*v_i 有没有感觉这种思想还挺常见的，用来做局部最小值的优化的

concluding：