【机器学习-西瓜书】第3章-线性模型

最新推荐文章于 2022-11-18 00:29:52 发布

wayaya112

最新推荐文章于 2022-11-18 00:29:52 发布

阅读量2k

点赞数

文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/wayaya112/article/details/123636734

版权

本文深入探讨线性模型，包括一元和多元线性回归，强调最小二乘法在参数估计中的应用。进一步讲解对数几率回归，解释其在分类任务中的作用，以及如何通过极大似然估计来求解参数。线性判别分析（LDA）也作为重要概念被介绍，用于二分类问题，旨在最大化类间距离和最小化类内距离。

摘要由CSDN通过智能技术生成

3.1 基本形式

示例x由 d个属性描述， $x_{i} = (x_{i1},x_{i2}, ..., x_{id})$

线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

$f(x) = w_{1}x_{1}+w_{2}x_{2}+ ... + w_{d}x_{d} + b \\ f(x)=w\top x + b,\ w=(w_{1}, w_{2}, ..., w_{d})$

3.2 线性回归

3.2.1 一元线性回归：for regression

给定数据集 $D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{m}, y_{m})\}$

先考虑最简单的情形：输入只有一个属性，此时线性回归试图学得: $f(x_{i}) = wx_{i} + b$

使得 $f(x_{i })\approx y_{i}$ .

如何确定w和b？=> 让均方误差最小化，即

$\left ( w^{\ast } , b^{\ast }\right ) = arg\ min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( f\left ( x_{i} \right )-y_{i} \right )^{2}\\=arg \min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( y_{i} - wx_{i}-b \right )^{2}$

基于均方误差最小化进行模型求解的方法，称为“最小二乘法 (Least Square Method)”。即找到一条直线，是所有样本导致线上的欧式距离之和最小。

最小二乘“参数估计 (parameter estimation)”:求解w和b使得下式最小化的过程。

最低0.47元/天解锁文章

关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。