西瓜书学习笔记——第三章：线性模型

最新推荐文章于 2022-10-17 09:55:48 发布

Andrewings

最新推荐文章于 2022-10-17 09:55:48 发布

阅读量1.5k

点赞数 1

分类专栏：西瓜书学习笔记文章标签：西瓜书线性模型

本文链接：https://blog.csdn.net/shichensuyu/article/details/90241016

版权

本文深入探讨线性模型，包括线性回归的基础及其对离散变量的处理，详细解释了如何处理单个属性和多个属性情况。进一步介绍了线性回归的广义形式，对数几率回归及其在分类任务中的应用，以及如何求解对数几率回归模型的参数。此外，还提及了线性类别分析（LDA）和多分类学习的策略，如一对一（OvO）、一对其余（OvR）和多对多（MvM）方法。

摘要由CSDN通过智能技术生成

3.1 基本形式

线性模型：试图学得一个通过属性的线性组合来进行预测的函数，即：
$f\left( x\right) =w_{1}x_{1}+w_{2}x_{2}+\ldots +w_{d}x_{d}+b$
其中， $x=(x_{1};x_{2};...;x_{d})$ 是有d个属性的示例
一般用向量形式写成：
$f\left( x\right) =w^{T}x+b$

在线性模型的基础上通过引入层级结构或高维映射可得到许多功能更为强大的非线性模型（nonlinear model）。

3.2 线性回归

线性回归（linear regression）试图学得一个线性模型以尽可能地预测实值输出标记。

对离散变量的处理

若属性值之间存在序关系，可通过连续化将其转换为连续值：如高中低对应{1, 0.5, 0}
若属性之间不存在序关系，假定属性值有k个，则通常转化为k维向量：如瓜类的取值黄瓜，西瓜，冬瓜可转化为（0,0,1）,（0,1,0）（1,0,0）

3.2.1 对于样本只有一种属性的情况

线性回归试图学得：
$\qquad\qquad\qquad\qquad\qquad$ $f(x_{i})=wx_{i}+b$ ，使得 $f(x_{i}) \simeq y_{i}$

对于 $f(x_{i}) \simeq y_{i}$ ，我们可以通过让均方误差最小化来达到（即找到一条直线，使得所有样本到该直线的欧几里得距离之和最小）。
$\left( w^{\ast },b^{\ast }\right) =arg\space min_{\left( w,b\right) }\sum ^{m}_{i=1}\left( f\left( x_{i}\right) -y_{i}\right) ^{2}$ $\space\space\qquad\qquad =arg\space min_{\left( w,b\right) }\sum ^{m}_{i=1}\left( y_{i}-wx_{i}-b\right) ^{2} \tag{3.4}$