task02: 详读【西瓜书+南瓜书】第3章——线性回归【机器学习】

2301_79855500

于 2025-03-12 15:18:47 发布

阅读量404

点赞数 3

文章标签：机器学习线性回归

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/2301_79855500/article/details/146204191

版权

前言

本次笔记来源于学习Datawhale AI夏令营的记录概要，纯私人记录,部分公式推导图片来源于其他帖子。

资料链接：Datawhale-学用 AI,从此开始

3.1 基本形式

给定由d个属性描述的示例 $x=(x_{1};x_{2};x_{3}...x_{d})$ ，其中 $x_{i}$ 是x在第i个属性上的取值，线性模型（linear model）试图学得一个通过权重向量 $\omega =(\omega_{1};\omega_{2};\omega_{3}...\omega_{d})$ 和偏置项 $b$ 的线性组合来进行预测的函数，即

$f(x)=\omega_{1}x_{1}+\omega_{2}x_{2}+...+\omega_{d}x_{d}+b$

一般用向量形式写成

$f(x)=\omega ^{T}x+b$

许多功能更为强大的非线性模型（nonlinear model）可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于 $\omega$ 直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性（comprehensibility）。

3.2 一元线性回归

3.2.1最小二乘估计

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

$E(\omega ,b)=\sum_{i=1}^{m}(y_{i}-f(x_{i}))^{2}$

$=\sum_{i=1}^{m}(y_{i}-(\omega x_{i}+b))^{2}$

$=\sum_{i=1}^{m}(y_{i}-\omega x_{i}-b)$

我们可以将 $E(\omega ,b)$ 分别对 $\omega$ 和 $b$ 求导，得到

然后令两式为零可以得到 $\omega$ 和 $b$ 最优解的闭式

3.2.2 极大似然估计

用途：估计概率分布的参数值

方法：对于离散型、连续型随机变量X，假设其概率质量函数为 $P(x,\theta )$ ,其中 $\theta$ 为待估计的参数值(可以有多个)，现有 $x_{1},x_{2},...,x_{n}$ 是来自X的n个独立样本，他们的联合概率为

$L(\theta )=\prod_{i=1}^{n}P(x_{i};\theta )$

其中 $x_{1},x_{2},...,x_{n}$ 是已知量， $\theta$ 是未知量，因此上述概率是一个关于 $\theta$ 的函数，称为样本的似然函数。

机器学习三要素

1.模型：根据具体问题，确定假设空间

2.策略：根据评价标准，确定选取最优模型的策略（通常会产生一个“损失函数”）

3.算法：求解损失函数，确定最优模型

3.3 多元线性回归

在前文公式推导中，我们把 $\omega$ 和 $b$ 写入向量形式: $\varpi =(\omega ,b)$ ,相应地，把数据集D表示为一个 $m\times (D+1)$ 大小的矩阵，其中每行对应于一个示例，该行前d个元素对应于示例的d个属性值，最后一个元素恒置为1，即

因此可得：

接下来我们求导可得

将其展开可得

求导得

由矩阵微分式可得

则最终学得的多元线性回归模型为

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。