过拟合与欠拟合:
比如,我们的数据训练的很好,并且误差也不大,那为什么在测试集上面有问题呢?就是因为可能出现了过拟合或者欠拟合。
欠拟合
其实是学习到的特征过少了,在测试上就会出现问题。
过拟合
学习的特征过多了,在测试时也可能会出现不准确的情况。
具体分析
深入认识过拟合与欠拟合:
那是什么原因导致我们的模型变得复杂了呢?
解决过拟合与欠拟合的方法
正则化的类别
L2正则化(更能常用,就是损失函数+惩罚项):λ为惩罚系数
L1正则化:
岭回归
岭回归的API
用岭回归实现对房价的预测
#用岭回归来对房价进行预测 def linear3(): ''' 岭回归的优化方法来对波士顿的房价进行预测 :return: ''' #1 获取数据 boston = load_boston() print("特征数量\n",boston.data.shape) #2 划分数据集 x_train,x_test,y_train,y_test = train_test_split(boston.data,boston.target,random_state=22) #3 标准化 transfer = StandardScaler() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) #4 预估器.max_iter是迭代次数,alpha是惩罚系数 estimator = Ridge(alpha=0.5,max_iter=10000) estimator.fit(x_train,y_train) #5 得出模型 print("岭回归权重系数为:\n",estimator.coef_) print("岭回归偏执为:\n",estimator.intercept_) #6 模型评估 y_predict = estimator.predict(x_test) print("预测房价:\n",y_predict) error = mean_squared_error(y_test,y_predict) #均方误差越小越好 print("岭回归均方误差为:\n",error) return None
输出:
正则化力度对结果的影响: