------Cost function 的正则化的机理:
Lambda为cost function的正则化系数,我们知道theta矩阵的更新一般通过如下公式:theta:=theta-alpher*J(theta)的偏导;当lambda偏大是,theta更新的步调变大,容易出现underfiting,反之容易出现overfiting。
-------训练误差、交叉确定误差、测试(泛化)误差
-----------high bias (偏差)和 high Variance(方差)
注:左边的曲线名称为learning curve(用于判断当前系统处于什么状况,Jcv曲线的最低点为“just right”点)
--------决定下一步该怎么做:当出现偏差和方差的时候我们下一步应该采取什么措施?
.
----------查准率和召回(查全)率:用于准确评估偏斜类问题(两个类别的样本数量相差悬殊);查出来的多少是正确的和查出来的占实际上所有的多少;两者互斥
下面二分宫格里面有:真阳性、假阳性、假阴性、真阴性。查准率(precision):判断在所有预测为阳性的数量中有多少是真阳性;和召回率(recall):实际为阳性的数量中有多少被真正预测。的计算如下所示:
---------怎么权衡查准率和查全率:不能用平均值法。