Udacity机器学习入门笔记5-回归

最新推荐文章于 2020-02-25 19:16:40 发布

四脚猫

最新推荐文章于 2020-02-25 19:16:40 发布

阅读量191

点赞数

分类专栏： Udacity机器学习

本文链接：https://blog.csdn.net/muyilove/article/details/90485077

版权

Udacity机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Udacity机器学习入门笔记5-回归

1.sklearn 广义线性模型

以下是一组用于线性回归的方法，这些方法中，目标值是一组特征的线性组合。在数学公式中， $\hat{y}$ 是预测值
$\hat{y}(w, x)=w_{0}+w_{1} x_{1}+\ldots+w_{p} x_{p}$
其中，向量 $w=\left(w_{1}, \dots, w_{p}\right)$ 作为coef_, $w_0$ 为截距intercept_。

1.1 普通最小二乘

LinearRegression 用影响系数 $w=\left(w_{1}, \dots, w_{p}\right)$ 拟合一个线性模型，该模型最小化数据集中观察到的目标和通过线性近似预测的目标之间总和残留的平方。数学上它解决形式：
$min _{w}\|X w-y\|_{2}^{2}$
在这里插入图片描述

1.2 脊回归（ridge regression）

Ridge回归通过对系数的大小判罚解决了普通最小二乘法一些问题。脊系数最小化带有惩罚的残差的平方和：
$\min _{w}\|X w-y\|_{2}^{2}+\alpha\|w\|_{2}^{2}$
复杂性参数 $\alpha \geq 0$ 控制收缩量：较大的值 $\alpha$ ，收缩的量越大，因此系数变得更稳健于共线性
在这里插入图片描述

2.Udacity test

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit(feature_train,target_train)
print reg.score(feature_train,target_train)
print reg.score(feature_test,target_test)

在这里插入图片描述