task02 掌握基本的回归模型（学习笔记）

task02 掌握基本的回归模型

 

线性回归模型

回归这个概念是19世纪80年代由英国统计学家郎西斯.高尔顿在研究父子身高关系提出来的，他发现：在同一族群中，子代的平均身高介于父代的身高以及族群的平均身高之间。具体而言，高个子父亲的儿子的身高有低于其父亲身高的趋势，而矮个子父亲的儿子身高则有高于父亲的身高的趋势。也就是说，子代的身高有向族群平均身高"平均"的趋势，这就是统计学上"回归"的最初含义。回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（特征）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。而线性回归就是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w ：

 

 

 

(a) 最小二乘估计：

我们需要衡量真实值𝑦𝑖与线性回归模型的预测值𝑤𝑇𝑥𝑖之间的差距，在这里我们和使用二范数的平方和L(w)来描述这种差距，即：

因此，我们需要找到使得𝐿(𝑤)最小时对应的参数𝑤，即：𝑤̂ =𝑎𝑟𝑔𝑚𝑖𝑛𝐿(𝑤)为了达到求解最小化𝐿(𝑤)问题，我们应用高等数学的知识，使用求导来解决这个问题：

 

 

 

 

 

sklearn的线性回归实例来演示：

from sklearn import linear_model # 引入线性回归方法

lin_reg = linear_model.LinearRegression() # 创建线性回归的类

lin_reg.fit(X,y) # 输入特征X和因变量y进行训练

print("模型系数：",lin_reg.coef_) # 输出模型的系数

print("模型得分：",lin_reg.score(X,y)) # 输出模型的决定系数R^2

 

回归树：

基于树的回归方法主要是依据分层和分割的方式将特征空间划分为一系列简单的区域。对某个给定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。由于划分特征空间的分裂规则可以用树的形式进行概括，因此这类方法称为决策树方法。决策树由结点(node)和有向边(diredcted edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类别或者某个值。区域𝑅1,𝑅2等称为叶节点，将特征空间分开的点为内部节点。

 

 

 

 

树模型的优缺点：

• 树模型的解释性强，在解释性方面可能比线性回归还要方便。
• 树模型更接近人的决策方式。
• 树模型可以用图来表示，非专业人士也可以轻松解读。
• 树模型可以直接做定性的特征而不需要像线性回归一样哑元化。
• 树模型能很好处理缺失值和异常值，对异常值不敏感，但是这个对线性模型来说却是致命的。
• 树模型的预测准确性一般无法达到其他回归模型的水平，但是改进的方法很多。

 

sklearn使用回归树的实例：

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeRegressor.html?highlight=tree#sklearn.tree.DecisionTreeRegressor

sklearn.tree.DecisionTreeRegressor(*, criterion='mse', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort='deprecated', ccp_alpha=0.0）

• 参数：(列举几个重要的，常用的，详情请看上面的官网)

criterion：{“ mse”，“ friedman_mse”，“ mae”}，默认=“ mse”。衡量分割标准的函数 。

splitter：{“best”, “random”}, default=”best”。分割方式。

max_depth：树的最大深度。

min_samples_split：拆分内部节点所需的最少样本数，默认是2。

min_samples_leaf：在叶节点处需要的最小样本数。默认是1。

min_weight_fraction_leaf：在所有叶节点处（所有输入样本）的权重总和中的最小加权分数。如果未提供sample_weight，则样本的权重相等。默认是0。

 

回归树的实例代码：

from sklearn.tree import DecisionTreeRegressor

reg_tree = DecisionTreeRegressor(criterion = "mse",min_samples_leaf = 5)

reg_tree.fit(X,y)

reg_tree.score(X,y)

 

0.9376307599929274