Day03-集成学习-机器学习-回归-优化基础模型(DataWhale)

最新推荐文章于 2023-08-25 12:56:15 发布

liying_tt

最新推荐文章于 2023-08-25 12:56:15 发布

阅读量245

点赞数

分类专栏：机器学习文章标签：机器学习 python 深度学习

本文链接：https://blog.csdn.net/liying_tt/article/details/115102912

版权

机器学习专栏收录该内容

15 篇文章 1 订阅

订阅专栏

4. 优化基础模型

训练数据集：去估计模型参数的数据集
测试数据集：未出现在训练数据集的未知数据集
估计参数原则：使得损失函数在训练集达到最小值
回归模型的目的：使得模型在测试数据中表现优异

解决估计参数的原则与模型最优的矛盾

4.1 均方误差

$\text{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{f}(x_i))^2$

$\hat{f}(x_i)$ 是基于样本 $x_i$ 建立的模型 $\hat{f}$ 预测的结果

训练均方误差：基于训练集上的数据得到的均方误差
测试均方误差：基于测试集上的数据得到的均方误差
训练误差不是测试误差的良好估计。训练均方误差最小时，测试均方误差不一定小，甚至很大
过拟合：模型在训练均方误差很小，但是测试均方误差很大

4.2 偏差-方差的衡量

$\text{E}_D\left[\left(\hat{f}(x)-y_D\right)^2\right]= bias^2(x)+var(x)+\epsilon^2$

泛化误差：偏差、方差、噪声之和。

一般来讲，增加模型的复杂度，会增加模型的方差，减少模型的偏差

D：训练集
$x$ ：测试样本
$y_D$ ： $x$ 在数据集中的标记
$y$ 为 $x$ 的真实标记
$\hat{f}(x)$ ：训练集D上学得模型 $f$ 在 $x$ 上的预测输出
$\bar{f}(x) = E_D[\hat{f}(x)]$ ：学习算法的期望预测
$bias^2(x) = \left(\bar{f}\left(x\right)-y\right)^2$ : 期望输出与真实标记的差别称为偏差(bias)
$E_D\left[\left(\hat{f}(x)-\bar{f}\left(x\right)\right)^2\right]$ : 样本数相同的不同训练集产生的方差。模型的复杂度越高，f的方差越大
$\epsilon^2 = E_D\left[\left(y_D-y\right)^2\right]$ : 样本数相同的不同训练集产生的噪声

在这里插入图片描述

我们选择模型时，需要选择测试误差(泛化误差)达到最小的模型。很难对实际的测试误差做精确的计算，需要对测试误差做估计。分为：训练误差修正与交叉验证。

4.3 特征提取

4.3.1 训练误差修正

前提：
模型越复杂，训练误差越小，测试误差先减后增。

原理：
先构造一个特征较多的模型使其过拟合，此时训练误差很小而测试误差很大，这是加入
关于特征个数的惩罚。当训练误差随特征个数的增加而减少时，惩罚项随特征数量的增加而增大，
抑制了训练误差随着特征个数的增加而减少。这样我们可以找到平衡点，得到优化解。

数学量：

$C_p = \frac{1}{N}(RSS+2d\hat{\sigma}^2)$
$\sum_{i=1}^N(y_i - \hat{f}(x))^2$
$d$ ：模型特征个数

$\hat{\sigma}^2$ ：模型预测误差的方差的估计值。残差的方差

AIC赤池信息量准则： $\frac{1}{d\hat{\sigma}^2}(RSS + 2d\hat{\sigma}^2)$

BIC贝叶斯信息量准则： $\frac{1}{n}(RSS+log(n)d\hat{\sigma}^2)$

4.3.2 交叉验证

**原理：**对测试误差直接估计。

方法：

K折交叉验证： 将训练样本分成K等分，然后用K-1个样本集当作训练集，剩下的一份样本集为验证集去估计K-1个样本集得到的模型精度，这个过程重复K次取平均值得到测试误差的一个估计 $CV_{(K)} = \frac{1}{K}\sum_{i=1}^K MSE_i$
在测试误差能够被合理的估计出来后，做特征选择的目标是：从p个特征中选择m个特征，是的对应的模型的测试误差的估计最小。

对应的方法有：
- 最优子集选择：
  
  (i) 记不含任何特征的模型为 $M_0$ ，计算这个 $M_0$ 的测试误差
  
  (ii) 在 $M_0$ 基础上增加一个变量，计算p个模型的RSS，选择RSS最小的模型记作 $M_1$ ，并计算 $M_1$ 的测量误差
  
  (iii) 再增加变量，计算p-1个模型的RSS，并选择RSS最小的模型记作 $M_2$ ，并计算 $M_2$ 的测试误差
  
  (iv) 重复以上的过程，直到拟合的模型有p个特征为止，并选择p+1个模型 ${M_0,M_1,...,M_p\}$ 中测试误差最小的模型作为最优模型。
- 向前逐步选择：
  
  最优子集选择会随着数据特征维度p的增加，子集的数量为 $2^p$ ，计算效率会很低，因此使用向前逐步选择的算法：
  
  (i) 记不含任何特征的模型为 $M_0$ ，计算 $M_0$ 的测试误差
  
  (ii) 在 $M_0$ 的基础上增加一个变量，计算p个模型的RSS，选择RSS最小的模型记作 $M_1$ ，并计算 $M_1$ 的测试误差
  
  (iii) 在最小的RSS模型下，继续增加一个变量，选择RSS最小的模型记作 $M_2$ ，并计算 $M_2$ 的测试误差
  
  (iv) 重复以上的过程，直到拟合的模型有p个特征为止，并选择p+1个模型 ${M_0,M_1,...,M_p\}$ 中测试误差最小的模型作为最优模型

4.4 压缩估计(正则化)

除了可以对特征自身进行选择以外，可以对回归系数进行约束或者加罚的技巧对p个特征的
模型进行拟合，显著降低模型的方差，提高模型的拟合效果。就是将回归系数向零的方向压缩。

岭回归(L2正则化)：

在线性回归中，损失函数为:
$\sum_{i=1}^{N}(y_i - w_0 - \sum_{j=1}^{p}w_jx_{ij})^2$
在线性回归的损失函数的基础上添加对系数的约束或者惩罚，即：

$\sum_{i=1}^{N}(y_i - w_0 - \sum_{j=1}^{p}w_jx_{ij})^2+\lambda\sum_{j=1}^{p}w_j^2$
其中， $\lambda \ge 0$
$\hat{w} = (X^TX + \lambda I)^{-1}X^TY$
调节参数 $\lambda$ 的大小是影响压缩估计的关键， $\lambda$ 越大，乘法的力度越大，系数则越趋近于0，反之，选择合适的 $\lambda$ 对模型精度来讲很重要。

岭回归通过牺牲线性回归的无偏性降低方差，有可能使得模型整体的测试误差较小，提高模型的泛化能力。
Lasso回归

岭回归的显著特点：将模型的系数向零的方向压缩，但岭回归的系数只能趋于0不能等于0，无法做特征选择。使用系数向量的L1范数替换岭回归中的L2范数，可以做到像特征最优子集选择一样的提取重要特征。

$\sum_{i=1}^{N}(y_i - w_0 -\sum_{j}^{p}w_jx_{ij})^2+\lambda\sum_{j=1}^p|w_j|$
其中， $\lambda \ge 0$

lasso可以做到特征选择，岭回归不可以，是因为Lasso回归的约束在每个坐标轴上都有拐点，当RSS曲线与坐标轴相交时，恰好回归系数中的某一个为0，这样就实现了特征提取。岭回归的约束是一个圆域，没有尖点，RSS曲线相交的地方不会出现在坐标轴，无法让某个特征的系数为0，无法进行特征提取。(椭圆曲线为RSS等高线)

4.5 降维

前面对方差的控制有两种：一种是使用原始变量的子集，一种是将变量系数压缩至0，这两种都是基于原始特征 $x_1,x_2,...,x_p$ 得到的。

降维：将原始的特征空间投影到一个低维的空间实现变量的数量变少。如：将二维平面投影至一维空间。

机器学习领域的降维：采用某种映射方法，将高维空间中的数据点映射到低维度空间。

降维的本质是学习一个映射函数f: x ->y

降维的原因是原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用中造成了误差，降低了准确率；通过降维希望减少冗余信息所造成的误差，提高识别进度，又希望通过降维算法来寻找数据内部的本质结构特征。

4.5.1 主成分分析(PCA)

思想：通过最大投影方差将原始空间进行重构，即由特征相关重构为无关，即落在
某一方向上的点(投影)的方差最大。

样本均值Mean：
$\bar{x} = \frac{1}{N}\sum_{i=1}^{N}x_i = \frac{1}{N}X_T1_N，其中1_N = (1,1,...,1)^T_N$
样本协方差矩阵:
$S^2 = \frac{1}{N}\sum_{i=1}^N(x_i-\bar{x})(x_i-\bar{x})^T=\frac{1}{N}X_THX，其中H = I_N-\frac{1}{N}1_N1_N^T$

最大投影方差的步骤：

(i) 中心化： $x_i - \bar{x}$

(ii) 计算每个点 $x_1,...,x_N$ 到 $\vec{u}_1$ 方向上的投影： $(x_i-\bar{x}) \vec{u}_1，||\vec{u}_1||=1$

(iii) 计算投影方差： $\frac{1}{N}\sum_{i=1}^{N}[(x_i-\bar{x})^T\vec{u}_1]^2，||\vec{u}_1||=1$

(iv) 最大化投影方差求 $\vec{u}_1$ ：
$\vec{u}_1 = argmax_{u1} \frac{1}{N}\sum_{i=1}^{N}[(x_i-\bar{x})^T\vec{u}_1]^2$
$s.t.\vec{u}_1^T\vec{u}_1 = 1(\vec{u}_1之后不再带向量符号)$
得到：
$\frac{1}{N}\sum_{i=1}^{N}[(x_i-\bar{x})^T\vec{u}_1]^2\\ = \frac{1}{N}\sum_{i=1}^{N}[u_1^T(x_i-\bar{x})(x_i-\bar{x})^Tu_1] \\ \; = u_1^T[\frac{1}{N}\sum_{i=1}^{N}(x_i-\bar{x})(x_i-\bar{x})^T]u_1\\ \;= u_1^TS^2u_1$
即：
$\hat{u}_1 = argmax_{u1}u_1^TS^2u_1， s.t.u_1^Tu_1 =1 \\ L(u_1,\lambda) = u_1^TS^2u_1 + \lambda(1-u_1^Tu_1)\\ \frac{\partial L}{\partial u_1} = 2S^2u_1-a\lambda u_1 = 0\\ 即：S^2u_1 = \lambda u_1$

可以看到： $\lambda$ 为 $S^2$ 的特征值， $u_1$ 为 $S^2$ 的特征向量。我们只需要对中心化后的协方差矩阵进行特征值分解，得到的特征向量即为投影向量。如果需要降维，只需要取p的前M个特征向量即可。

案例1：向前逐步回归

#定义向前逐步回归函数
def forward_select(data,target):
    variate = set(data.columns) #读取字段名，存为字典类型
    variate.remove(target) #去除因变量的字段名
    selected = []
    current_score,best_new_score=float('inf'),float('inf')
    #目前的分数和最好的分数初始化值都为无穷大(因为AIC越小越好)
    #循环筛选变量
    while variate:
        aic_with_variate=[]
        for candidate in variate: #逐个遍历自变量
            formula = "{}~{}".format(target,"+".join(selected+[candidate]))
            #将自变量名连接起来
            aic = ols(formula=formula,data=data).fit().aic 
            #利用ols训练模型得出aic的值
            aic_with_variate.append((aic,candidate))
            #将每一次的aic的值放进空列表中
        aic_with_variate.sort(reverse=True)
        #降序排序aic值
        best_new_score,best_candidate=aic_with_variate.pop()
        #最好的aic值等于删除列表的最后一个值，以及最后的自变量等于列表最后一个自变量
        if current_score>best_new_score:
        #如果目前的aci值大于最好的aic值
            variate.remove(best_candidate) 
        #移除加进来的变量名，即第二次循环时不考虑此自变量
            selected.append(best_candidate)
        #将此自变量作为加进模型中的自变量
            current_score = best_new_score
        #最新的分数等于最好的分数
            print("aic is {}, continuing".format(current_score))
        #输出最小的aic值
        else:
            print("for selection over!")
            break
    formula="{}~{}".format(target,"+".join(selected))
    #最终的模型式子
    print("final formula is {}".format(formula))
    model=ols(formula=formula,data=data).fit()
    return(model)

#数据准备
import pandas as pd
from sklearn import datasets
boston = datasets.load_boston()
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data['PRICE'] = y
boston_data.head(1)

	CRIM	ZN	INDUS	CHAS	NOX	RM	AGE	DIS	RAD	TAX	PTRATIO	B	LSTAT	PRICE
0	0.00632	18.0	2.31	0.0	0.538	6.575	65.2	4.09	1.0	296.0	15.3	396.9	4.98	24.0

import statsmodels.api as sm #最小二乘
from statsmodels.formula.api import ols #加载ols模型
forward_select(data=boston_data,target="PRICE")

aic is 3286.974956900157, continuing
aic is 3171.5423142992013, continuing
aic is 3114.0972674193326, continuing
aic is 3097.359044862759, continuing
aic is 3069.4386331672176, continuing
aic is 3057.9390497191152, continuing
aic is 3048.438382711162, continuing
aic is 3042.274993098419, continuing
aic is 3040.154562175143, continuing
aic is 3032.0687017003256, continuing
aic is 3021.7263878250624, continuing
for selection over!
final formula is PRICE~LSTAT+RM+PTRATIO+DIS+NOX+CHAS+B+ZN+CRIM+RAD+TAX
<statsmodels.regression.linear_model.RegressionResultsWrapper at 0x21b5c568430>

lm = ols("PRICE~LSTAT+RM+PTRATIO+DIS+NOX+CHAS+B+ZN+CRIM+RAD+TAX",data=boston_data).fit()
lm.summary()

OLS Regression Results
Dep. Variable:	PRICE	R-squared:	0.741
Model:	OLS	Adj. R-squared:	0.735
Method:	Least Squares	F-statistic:	128.2
Date:	Mon, 22 Mar 2021	Prob (F-statistic):	5.54e-137
Time:	21:40:04	Log-Likelihood:	-1498.9
No. Observations:	506	AIC:	3022.
Df Residuals:	494	BIC:	3072.
Df Model:	11
Covariance Type:	nonrobust

	coef	std err	t	P>\|t\|	[0.025	0.975]
Intercept	36.3411	5.067	7.171	0.000	26.385	46.298
LSTAT	-0.5226	0.047	-11.019	0.000	-0.616	-0.429
RM	3.8016	0.406	9.356	0.000	3.003	4.600
PTRATIO	-0.9465	0.129	-7.334	0.000	-1.200	-0.693
DIS	-1.4927	0.186	-8.037	0.000	-1.858	-1.128
NOX	-17.3760	3.535	-4.915	0.000	-24.322	-10.430
CHAS	2.7187	0.854	3.183	0.002	1.040	4.397
B	0.0093	0.003	3.475	0.001	0.004	0.015
ZN	0.0458	0.014	3.390	0.001	0.019	0.072
CRIM	-0.1084	0.033	-3.307	0.001	-0.173	-0.044
RAD	0.2996	0.063	4.726	0.000	0.175	0.424
TAX	-0.0118	0.003	-3.493	0.001	-0.018	-0.005

Omnibus:	178.430	Durbin-Watson:	1.078
Prob(Omnibus):	0.000	Jarque-Bera (JB):	787.785
Skew:	1.523	Prob(JB):	8.60e-172
Kurtosis:	8.300	Cond. No.	1.47e+04

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
[2] The condition number is large, 1.47e+04. This might indicate that there are
strong multicollinearity or other numerical problems.

查看每个系数的p值，显著性都比较好，整个模型的 $R^2$ 也还行

案例2：岭回归

sklearn.linear_model.ridge_regression(X, y, alpha, *, sample_weight=None, solver='auto', max_iter=None, tol=0.001, verbose=0, random_state=None, return_n_iter=False, return_intercept=False, check_input=True)

参数

X：用于训练的数据
y：目标值
alpha：正则强度，必须是正浮点型。正则化改善了问题的状况，并减少了估计的方差。值越大表示正则化更强。如果传递数组，则认为惩罚是特定于目标的。因此，它们必须在数量上对应。
sample_weight：每个样本的独立权重。如果给定一个浮点值，则每个样本的权量都相同。如果sample_weight不为None且solver =‘auto’，则solver将被设置为’cholesky’。
solver：计算例程的求解器。{‘auto’, ‘svd’, ‘cholesky’, ‘lsqr’, ‘sparse_cg’, ‘sag’, ‘saga’}, default=’auto’
max_iter：共轭梯度求解器的最大迭代次数。
tol：解决方案的准确率。float, default=1e-3
verbose：详细程度。设置verbose> 0将显示其他信息
random_state：在solver=='sag’或’saga’打乱数据时使用。
returen_n_inter：如果为True，则该方法还返回n_iter，由求解器执行的实际迭代次数。bool, default=False
return_intercept：如果为True且X是稀疏的，则该方法还会返回截距，并且求解器会自动更改为’sag’。default=False
check_input：如果为False，将不检查输入数组X和y。default=True

属性

coef：权重向量。
n_iter：求解器执行的实际迭代次数。仅在return_n_iter为True时返回。
intercept：模型的截距。仅当return_intercept 为True且X为稀疏数组时返回

from sklearn import linear_model
reg_rid = linear_model.Ridge(alpha=0.5)
reg_rid.fit(X,y)
reg_rid.score(X,y)

0.739957023371629

案例3：Lasso

sklearn.linear_model.Lasso(alpha=1.0, *, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic')

参数

alpha：正则化强度，1.0代表标准最小二乘
fit_intercept：是否计算截距，默认为True
normalize：是否标准化，默认为False
positive：是否强制系数为正，默认为False

属性

coef：权重向量。
n_iter：求解器执行的实际迭代次数。仅在return_n_iter为True时返回。
intercept：模型的截距。仅当return_intercept 为True且X为稀疏数组时返回

方法

fit(X,y)：
get_params()：
path(X,y)：计算具有坐标下降的弹性网路径
predict(X)：
score(X,y)：返回决定系数 $R^2$
set_params：设置此估算器的参数。

from sklearn import linear_model
reg_lasso = linear_model.Lasso(alpha=0.5)
reg_lasso.fit(X,y)
reg_lasso.score(X,y)

0.7140164719858566

liying_tt

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Day03-集成学习-机器学习-回归-优化基础模型(DataWhale)

4. 优化基础模型训练数据集：去估计模型参数的数据集测试数据集：未出现在训练数据集的未知数据集估计参数原则：使得损失函数在训练集达到最小值回归模型的目的：使得模型在测试数据中表现优异解决估计参数的原则与模型最优的矛盾4.1 均方误差MSE=1N∑i=1N(yi−f^(xi))2\text{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{f}(x_i))^2MSE=N1i=1∑N(yi−f^(xi))2f^(xi)\hat{f}(x_i
复制链接

扫一扫