机器学习介绍
机器学习就是要找一个函数。
机器学习的三大要素框架：训练集，函数集（模型集），损失函数集。
机器学习图谱
AI训练师的成长之路。
1. 梯度下降法的理解Gradient Descent
参数变化的方向就是损失函数减少的方向。
图中小人向左走，还是向右走，主要是看哪个方向是损失函数减少的方向，学习率就是这个小人走的速度。
理论上，全局最有解是最好的结果，但是实际上，我们有时候可能仅仅找到了局部最有解。所以说梯度下降法找到好的结果，有时候会靠运气，比如一个比较好的初始点。
对于多参数，情况类似。
参数在梯度为零的情况不在更新，但梯度为零或者梯度比较小的情况，并不都是局部极值，还有可能是鞍点。
2. 模型选择
这是一个线性模型，看参数与object的关系，这里的ｂ，ｗ与ｙ都是线性关系。
模型越复杂，我们有可能在训练集上得到较小的误差损失，所以模型越复杂，我们越有可能找到最优的模型函数。
过拟合的问题，简单说就是在训练集上效果较好，但是在测试集上，效果比较差。更深的理解是，理论上我们应该学得是全局特征，在训练集上学习的是局部特征。若拟合局部特征较好，那么就会影响全局特征的学习。如果测试集上的局部特征与训练集的局部特征类似，那么测试集的结果会相对好。若测试集上的局部特征与训练集的局部特征不大类似，那么测试集的结果就会较差。
正则项
为了找到一个平滑的函数(smooth function)。所谓平滑函数，当ｘ有变化时，ｙ不会有剧烈的变化。否则就是个抖动比较厉害的函数。而影响函数的平滑性的是权值，偏置项不会影响函数的平滑性。
加正则项后的效果。
参考文献
673
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
