机器学习之线性回归_线性回归样本的属性可以属于那个类别-CSDN博客

本文链接：https://blog.csdn.net/qq_42571025/article/details/120727366

这篇博客详细介绍了线性回归模型的基本形式和线性回归的原理，包括单变量和多元线性回归。通过最小二乘法求解最优参数，并探讨了在属性数量较多时可能出现的问题及解决方法，如正则化。最后提到了线性回归的几种正则化形式，如岭回归、套索回归和弹性网络回归。

摘要由CSDN通过智能技术生成

文章目录

一、基本形式

给定由d个属性描述的实例 $x=(x_1,x_2,...,x_d)$ ,其中 $x_i$ 是 $x$ 在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即
$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$

一般向量形式写成
$f(x)=W^T.X+b$

线性模型形式简单，易于建模，但却蕴涵着机器学习中一些重要的基本思想，许多功能强大的函数都是在线性模型的基础上通过加入层级结构或高级映射而得，线性模型的权值向量W更是直观地表达了各个属性在预测中的重要性，因此，线性模型有很好的解释性。
举个栗子：周志华的西瓜书中的西瓜用线性模型预测： $f (x) = 0.2 * 色泽 + 0.5 * 根蒂 + 0.3 * 敲声 + 1$ ，这意味着一个西瓜好不好可通过色泽、根蒂、敲声这三方面来综合判断，其中根蒂对西瓜的好坏的影响最大，色泽最次。

二、线性回归

给定一个数据集 $D=\left \{ (x_1,y_1),(x_2,y_2),...(x_m,y_m) \right \}$ , $x_i=(x^1,x^2,...,x^d)$ ， $x_i\epsilon X\epsilon R^n$ ， $y\epsilon R$ ，“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标记。

现在我们先考虑最简单的一种情况，那就是实例 $x_i$ 的输入属性只有一个，这样 $x_i$ 实际上就是一个标量，为便于讨论，此时我们忽略属性的下标，即 $D=\left\{ (x_i,y_i)\right\}_{i=1}^{m}$ ，其中 $x_i \epsilon R$ 。
属性可以分为两种：离散属性、连续属性。
回归模型中，对离散属性，如果属性值间存在“序”关系，我们可以通过连续化使其转化为连续值，（对于不存在“序”关系的离散属性需要怎么处理还待我更深层次的去了解。）
什么叫做“序”关系呢？取个例子：我们的身高取值“高”、“矮”，可以转化为{1.0,0.0}，因为这是一个渐变的过程，有一定的排序，所以我们直接转换。再举一个例子：西瓜的颜色“浅白”、“青绿”、“乌黑”可转化为{0.0,0.5,1.0}，其中也存在一个序，由浅到深。
那为什么没有“序”关系不可以转换为连续值呢？这会不恰当的引入序关系，对后续处理如距离计算等造成误导，就如下文的均方误差。