机器学习中的误差
最早接触误差应该是高中数学和物理中,有更加深入的理解是在大学物理实验中,每次做完实验对数据进行处理,都会为此折腾一翻。实际应用是在研究生阶段分析仪器的性能有所应用。下面谈谈机器学习中的误差。
偏差与方差
偏差:指样本上的期望输出与真实标记之间的差距,即模型的精准度
方差:模型在不同训练集学得的函数的输出与期望之间的误差
训练误差与测试误差
训练误差:指模型在训练集上的平均误差
测试误差:指模型在测试集上的平均误差
梯度下降
通俗理解就是对函数求导数,在任意点求的梯度中,朝着梯度下降最快的方向逼近,最终会到达函数的极值点。但这个极值点是否是全局极值点就无法保证了,这需要通过选取梯度下降的步长大小来调整。