【机器学习-西瓜书】第3章-线性模型

本文深入探讨线性模型,包括一元和多元线性回归,强调最小二乘法在参数估计中的应用。进一步讲解对数几率回归,解释其在分类任务中的作用,以及如何通过极大似然估计来求解参数。线性判别分析(LDA)也作为重要概念被介绍,用于二分类问题,旨在最大化类间距离和最小化类内距离。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

3.1 基本形式

示例x由 d个属性描述,x_{i} = (x_{i1},x_{i2}, ..., x_{id})

线性模型 试图学得一个通过属性的线性组合来进行预测的函数,即

f(x) = w_{1}x_{1}+w_{2}x_{2}+ ... + w_{d}x_{d} + b \\ f(x)=w\top x + b,\ w=(w_{1}, w_{2}, ..., w_{d})

3.2 线性回归

3.2.1 一元线性回归:for regression

给定数据集 D=\{(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{m}, y_{m})\}

先考虑最简单的情形:输入只有一个属性,此时线性回归试图学得: f(x_{i}) = wx_{i} + b

 使得f(x_{i })\approx y_{i}

如何确定w和b?=> 让均方误差最小化,即

\left ( w^{\ast } , b^{\ast }\right ) = arg\ min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( f\left ( x_{i} \right )-y_{i} \right )^{2}\\=arg \min_{\left ( w,b \right )}\sum_{i=1}^{m}\left ( y_{i} - wx_{i}-b \right )^{2}

基于均方误差最小化进行模型求解的方法,称为“最小二乘法 (Least Square Method)”。即找到一条直线,是所有样本导致线上的欧式距离之和最小。

最小二乘“参数估计 (parameter estimation)”:求解w和b使得下式最小化的过程。

### 关于《机器学习西瓜第三答案析 在探讨《机器学习西瓜中第三的内容时,该节主要聚焦在线性模型及其应用[^3]。线性模型作为监督学习中的基础方法之一,广泛应用于分类回归任务中。 #### 1. 线性回归 线性回归是最简单的预测建模技术之一,它试图建立因变量(目标)与自变量之间的关系。对于单个特征的情况,可以表示为: \[ y = wx + b \] 其中 \(y\) 是预测值,\(x\) 表示输入数据,而参数 \(w\) 偏置项 \(b\) 则是待估计的未知数。为了找到最优解,通常采用最小二乘法来求权重系数,使得误差平方达到最小化。 ```python from sklearn.linear_model import LinearRegression # 创建样本数据集 X_train, y_train = [[0], [1]], [0, 1] regressor = LinearRegression() regressor.fit(X_train, y_train) print(f'斜率: {regressor.coef_[0]}') print(f'截距: {regressor.intercept_}') ``` #### 2. 对数几率回归 (Logistic Regression) 尽管名字中有 "回归" 字样,但实际上这是一种用于决二元分类问题的方法。通过对概率进行建模,并利用逻辑函数将实数值映射到区间 [0, 1] 内实现这一点。其决策边界由下述方程定义: \[ P(y=1|x;\theta)=\frac{1}{1+\exp(-(\theta^{T}x))} \] 这里的关键在于如何调整参数 θ 来优化似然度或交叉熵损失函数。 ```python import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) # 测试sigmoid函数 test_value = 0 result = sigmoid(test_value) print(result) ``` #### 3. 多类别分类 当面对多类别的分类场景时,《机器学习西瓜介绍了两种常见的策略:“一对余”(One-vs-Rest) 及 “一对一”(One-vs-One)。“一对余”的思路是在每次迭代过程中构建一个二分类器,区分某一特定类别与其他所有其他类别;相反,“一对一”则针对任意两个不同类别分别训练一个二分类器,最终通过投票机制决定归属哪个类别。 上述内容涵盖了《机器学习西瓜第三的核心概念技术细节。值得注意的是,在实际操作层面还需要考虑正则化、过拟合等问题以及具体应用场景下的调参技巧等高级话题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值