Overfitting数据过拟合
当我们有很多特征,我们的模型拟合训练数据非常好,但是对于新的预测数据,缺乏泛化能力。
Underfit数据欠拟合
对于训练数据的拟合能力过于弱
逻辑回归分类情况
练习题:
选择(C),过拟合能够很好地拟合训练数据。但是对于新的数据预测能力差,没有泛化能力
解决过拟合问题
1.减少特征的数量
2.使用正则化
Regularization正则化为了解决过拟合问题
normalization 归一化 为了加快梯度下降速度
Regularization正则化
思路:
将θ3,θ4设置为惩罚项。其前面乘上相当大的数值。当其进行优化函数调整θ的取值时,会将θ3,θ4调整为非常小。此时,达到了惩罚θ3,θ4参数的作用
在损失后面增加惩罚项,并对θ所有参数进行平方和与乘上λ。进行惩罚。(求和是从θ1····θn,不加入θ0)
λ为正则化参数,调控前后两个部分的比例
损失函数前半部分,是为了更好的拟合数据
损失函数后半部分,是为了保证各个参数值足够小。(防止过拟合)
练习题:
选择(C)。如果λ正则化参数过于大。经过优化函数其各个θ参数会过于小。导致模型对数据的欠拟合。
Regularized Linear Regression正则化的线性回归
如果λ正则化参数过于大。导致各个θ参数会过于小,且接近于0.相当于hθ(x)=θ0,即为一条直线。直线必定导致数据的欠拟合。
练习题:
选择(C),若学习率α特别小,会导致αλ/m的值非常小,故1-αλ/m(一个特别小的值)会导致其小于1.
加入正则化的梯度下降
若学习率α特别小,会导致αλ/m的值非常小,故1-αλ/m会减小一个很小的值。如θj=0.99.
相当于θj乘上一个比一小一点的值。达到了调整θj的思路
加入正则化的矩阵方法(Normal equation)
原来基础上加入λ*(1,1)为0,其余对角线为1的矩阵。
注意此矩阵为n+1维矩阵
若n=2时,此矩阵为[0,0,0][0,1,0][0,0,1]
回想一下,如果m(样本个数)<n(特征个数),那么
不可逆。但是,当我们加上术语λL,然后变为
可逆的。
Regularized Logistic Regression正则化的逻辑回归
在原有的逻辑回归损失函数基础上,后面加上一项,即可做到防止数据的过拟合
梯度下降法的正则化的逻辑回归
练习题:
选择(C),保证每一轮迭代中损失函数都在减少。
测试题:
选择(C)
B.将正则化方法加入模型并不是每次都能取得好的效果,如果λ取得太大的化就会导致欠拟合. 这样不论对traing set 还是 examples都不好.
选择(A)
当λ非常非常大时,θ1θ2…θn≈0,θ必然小
选择(A)
B.λ太大导致欠拟合,而不是过拟合
C.shrunk slightly的是θ, regularization是想要解决overfit. 不正确
选择(A)
选择(A)