dw吃瓜task2

最新推荐文章于 2024-09-04 17:48:38 发布

626

最新推荐文章于 2024-09-04 17:48:38 发布

阅读量27

点赞数

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/2302_76469608/article/details/134517587

版权

本文介绍了线性模型的基本形式，强调了其可解释性，探讨了线性回归的最小二乘法求解方法，扩展至多元和对数线性回归，以及对数几率回归在二分类问题中的应用。此外，还提及了线性判别分析(LDA)用于样本分类的方法。

摘要由CSDN通过智能技术生成

线性模型

1 基本形式

$f\left ( x \right )=\omega _{1}x_{1}+\omega _{2}x_{2}+...+\omega _{d}x_{d}+b$ ;

向量形式：

$f\left ( x \right )=\omega ^T{}x +b$ ;

优点：具有很强的可解释性（可理解性）

即每个因素前的系数可表示该因素的重要性。

2 线性回归

给定数据集

$D=\left \{ \left ( \chi _{1} ,y_{1}\right ),( \chi _{2} ,y_{2}\right ),...,( \chi _{m} ,y_{m}) \}$ ,其中 $\chi _{i}=\left \{ x_{i1} ,x_{i2,...,x_{id}}\right \},y\in R$

方便起见，假设， $\chi_{i}$ 中仅含一个数据，则线性回归试图学到的就是

$f\left ( x_{i}\right )= \omega x_{i}+b$ 使得 $f\left ( x_{i} \right )\simeq y_{i}$

求 $\omega$ 和b时，用均方误差最小化来进行模型求解，即“最小二乘法”

下式即为令均方差最小化

$\left ( \omega ^{*},b^{*} \right )= argmin_{(\omega ,b)}\sum_{i=1}^{m}\left ( f(x_{i})-y_{i} \right )^{2} =argmin_{(\omega ,b)}\sum_{i=1}^{m}\left ( y_{i}-\omega x_{i}-b\right )^{2}$

求解 $\omega$ 和b使 $E_{\left ( \omega ,b\right )}=\sum_{i=1}^{m}\left ( y_{i}-\omega x_{i}-b \right )^{2}$ 最小化，称为最小二乘参数估计。分别将 $E_{\left ( \omega ,b \right )}$ 对 $\omega$ 和b求偏导，可得

$\omega = \frac{\sum_{i=1}^{m}y_{i}(x_{i}-\overline{x})}{\sum_{i=1}^{m}x_{i}^{2}-\frac{1}{m}\left ( \sum_{i=1}^{m}x_{i} \right )^{2}}$ $b= \frac{1}{m}\sum_{i=1}^{m}(y_{i}-\omega x_{i})$

一般地，需要建立的模型都是“多元线性回归”，即其中 $x_{i}$ 如同开篇中提到的一样，含有多个元素

这种模型解法与上述方法一致，也为最小二乘法，只是将其中变量变为矩阵形式。需要注意，由于实际解题过程中，可能会因为矩阵不是满秩阵导致解出的多个 $\omega _{i}$ 都可使均方误差最小化，这时，选取的最优解需要依靠算法的归纳偏好决定。

虽然线性回归形式简单，但它却有丰富的变化，如对数线性回归模型；

$lny=\omega ^{T}x+b$

它的目的是使 $e^{\omega ^{T}x+b}$ 逼近y,虽然本质上仍未线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射。其图示如下

图1 对数线性回归示意图

更一般地，考虑单调可微函数 $g\left ( \cdot \right )$ ,令

$y=g^{-1}\left ( \omega ^{T}x+b\right )$

得到“广义线性模型”，其中 $g\left ( \cdot \right )$ 为“联系函数”，显然对数线性回归是广义线性回归在 $g\left ( \cdot \right )=ln\left ( \cdot \right )$ 时的特例

3 对数几率回归

考虑到二分类问题，其输出标记 $y\in \left \{ 0,1 \right \}$ ,而预测值 $z= \omega ^{T}x+b$ 却是实值。需将实值转换为0/1值。最理想的是“单位跃迁函数”

0,z<0;

y= 0.5,z=0;

1,z>0,

其预测临界值判断如下图

图2 单位跃迁函数与对数几率函数

如图2，单位阶跃函数不连续，因此需要找到在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。对数几率函数用的是一个常用的替代函数：

$y= \frac{1}{1+e^{-z}}$

将z带入，得

$y= \frac{1}{1+e^{-(\omega ^{T}x+b)}}$

$ln\frac{y}{1-y}=\omega ^{T}x+b$

若将y记为样本x作为正例的可能性，则1-y即为x作为反例的可能性，所谓的“几率”则为 $\frac{y}{1-y}$ ,取对数则为“对数几率”， $ln\frac{y}{1-y}$ 。

需注意，虽然这种模型名为“回归”，但它却是一种分类学习方法。优点：不仅预测出类别，还得到近似概率。

4 线性判别分析(Linear Discriminant nalys ，简称 LDA）

其核心思维为：设法将所有样例投影在一条直线上，使得同类样例投影点尽可能接近、异类投影点尽可能远离。将需要预测的数据也投影在这条已经得到的线上，根据其相距距离，判断其具体属于哪个类别。示意图如下

图3 LDA二维示意图，“+”，“-”分别代表正例和反例，椭圆表示数据簇的外轮廓，虚线表示投影，红色实心圆和实心三角形分别表示两类样本投影后的中心点.

626

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
dw吃瓜task2

将需要预测的数据也投影在这条已经得到的线上，根据其相距距离，判断其具体属于哪个类别。图3 LDA二维示意图，“+”，“-”分别代表正例和反例，椭圆表示数据簇的外轮廓，虚线表示投影，红色实心圆和实心三角形分别表示两类样本投影后的中心点.如图2，单位阶跃函数不连续，因此需要找到在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微。若将y记为样本x作为正例的可能性，则1-y即为x作为反例的可能性，所谓的“几率”则为。都可使均方误差最小化，这时，选取的最优解需要依靠算法的归纳偏好决定。
复制链接

扫一扫