机器学习介绍
机器学习就是要找一个函数。
机器学习的三大要素框架:训练集,函数集(模型集),损失函数集。
机器学习图谱
AI训练师的成长之路。
1. 梯度下降法的理解Gradient Descent
参数变化的方向就是损失函数减少的方向。
图中小人向左走,还是向右走,主要是看哪个方向是损失函数减少的方向,学习率就是这个小人走的速度。
理论上,全局最有解是最好的结果,但是实际上,我们有时候可能仅仅找到了局部最有解。所以说梯度下降法找到好的结果,有时候会靠运气,比如一个比较好的初始点。
对于多参数,情况类似。
参数在梯度为零的情况不在更新,但梯度为零或者梯度比较小的情况,并不都是局部极值,还有可能是鞍点。
2. 模型选择
这是一个线性模型,看参数与object的关系,这里的b,w与y都是线性关系。
模型越复杂,我们有可能在训练集上得到较小的误差损失,所以模型越复杂,我们越有可能找到最优的模型函数。
过拟合的问题,简单说就是在训练集上效果较好,但是在测试集上,效果比较差。更深的理解是,理论上我们应该学得是全局特征,在训练集上学习的是局部特征。若拟合局部特征较好,那么就会影响全局特征的学习。如果测试集上的局部特征与训练集的局部特征类似,那么测试集的结果会相对好。若测试集上的局部特征与训练集的局部特征不大类似,那么测试集的结果就会较差。
正则项
为了找到一个平滑的函数(smooth function)。所谓平滑函数,当x有变化时,y不会有剧烈的变化。否则就是个抖动比较厉害的函数。而影响函数的平滑性的是权值,偏置项不会影响函数的平滑性。
加正则项后的效果。
参考文献