算法知识点——（3）监督学习——逻辑回归与线性回归

最新推荐文章于 2023-05-16 22:42:08 发布

Lynqwest

最新推荐文章于 2023-05-16 22:42:08 发布

阅读量1.2k

点赞数

分类专栏：算法知识点文章标签：机器学习算法逻辑回归线性回归

本文链接：https://blog.csdn.net/lynqwest/article/details/100577046

版权

本文深入探讨了监督学习中的线性回归和逻辑回归。线性回归介绍了原理、误差分析、似然函数、目标函数推导和求解过程。逻辑回归则涉及Logistic分布、分类任务、似然函数、参数更新及其特点。两者的异同点也进行了对比，强调了它们在回归和分类问题上的应用和区别。

摘要由CSDN通过智能技术生成

5. 特征高度相关或者特征重复，会造成怎样的影响？

6. 逻辑回归为什么要对特征进行离散化

7. 逻辑回归是线性模型吗？

8. 逻辑回归最优化过程中如何避免局部最小值

三、逻辑回归相比于线性回归，有何异同？

一、线性回归

1. 原理推导

1.1 算法概述

给定数据集 $D = \left\{ {\left( {{x_i},{y_i}} \right)} \right\}_{i = 1}^m$ ， $x_i=\left( {{x_{i1}},{x_{i2}}, \ldots ,{x_{id}}} \right)$ ， ${y_i} \in R$ （线性回归的输出空间是整个实数空间），其中是属性维度，是样本数，

线性回归拟合平面

$f\left( {{x_i}} \right) = {w^T}{x_i}$ （1）

1.2 误差项分析

预测值和真实值之间存在差异 $\varepsilon$ ，对于每个样本：

${y_i} = {w^T}{x_i} + {\varepsilon _i}$ （2）

误差 ${\varepsilon _i}$ 是独立，同分布的，并且服从高斯分布，即：

$p\left( {{\varepsilon _i}} \right) = \frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{\varepsilon _i}^2}}{{2{\sigma ^2}}}} \right)$ （3）

将（2）代入（3）中，得到在已知参数和数据 w_i 的情况下，预测值为 y_i 的条件概率：

$p\left( {{y_i}\left| {{x_i};w} \right.} \right) = \frac{1}{{\sqrt {2\pi } \sigma }}\exp \left( { - \frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right)$ （4）

1.3 似然函数

引入似然函数的目的：根据样本估计参数值，求解什么样的参数根数据组合后恰好是真实值

将（4）连乘得到在已知参数和数据的情况下，预测值为的条件概率，这个条件概率在数值上等于，likelihood（w|x,y），也就是在已知现有数据的条件下，w是真正参数的概率，

似然函数：

$L\left( w \right) {\rm{ = }}\prod\limits_{i = 1}^m {p\left( {{y_i}\left| {{x_i};w} \right.} \right)} = \prod\limits_{i = 1}^m {\frac{1}{{\sqrt {2\pi } \sigma }}} \exp \left( { - \frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right)$ （5）

似然函数进行log变换目的：由于乘法难解，通过对数可以将乘法转换为加法，简化计算。

对数似然函数：

$logL(w)=log\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma}exp(-\frac{(y_i-w^Tx_i)^2}{2\sigma^2})$ （6）

1.4 目标函数推导

对似然函数进行求解，得到目标函数：···

$\begin{array}{l} \ell\left( w \right) = \log \prod\limits_{i = 1}^m {\frac{1}{{\sqrt {2\pi } \sigma }}} \exp \left( { - \frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right)\\ = \sum\limits_{i = 1}^m {\log \frac{1}{{\sqrt {2\pi } \sigma }}} \exp \left( { - \frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right)\\ = \sum\limits_{i = 1}^m {\log \frac{1}{{\sqrt {2\pi } \sigma }}} + \sum\limits_{i = 1}^m {log\left( {\exp \left( { - \frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right)} \right)} \\ = m\log \frac{1}{{\sqrt {2\pi } \sigma }} - \sum\limits_{i = 1}^m {\frac{{{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}}}{{2{\sigma ^2}}}} \\ = m\log \frac{1}{{\sqrt {2\pi } \sigma }} - \frac{1}{{{\sigma ^2}}}\frac{1}{2}\sum\limits_{i = 1}^m {{{\left( {{y_i} - {w^T}{x_i}} \right)}^2}} \end{array}$ （6）