《统计学习方法》-李航、《机器学习-西瓜书》-周志华总结+Python代码连载（二）--线性模型（Linear model）

最新推荐文章于 2023-09-17 00:15:00 发布

xiao韩

最新推荐文章于 2023-09-17 00:15:00 发布

阅读量810

点赞数

分类专栏： Python与AI 机器学习学习笔记文章标签：机器学习 python/sklearn 线性模型逻辑回归/线性回归 LDA

本文链接：https://blog.csdn.net/qq_28821995/article/details/96144693

版权

本文深入探讨了线性模型，包括线性回归的最小二乘法和梯度下降求解过程。接着介绍了对数线性回归，它是线性模型的非线性映射。然后详细阐述了二元和多元逻辑回归，通过极大似然函数和梯度下降求解权重。最后，讨论了线性判别分析（LDA），其目标是最大化类间距离和最小化类内距离。文章附带相关Python代码实现。

摘要由CSDN通过智能技术生成

一、线性回归（Linear regression）

线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记，用公式表达为： $f(x_{i})=w\cdot x_{i}+b$ ,使得 $f(x_{i}) \rightarrow y_i{}$ 。那么怎么求得w，b呢？基本使用最小二乘法和梯度下降。

最小二乘法：最小化均方差函数（本连载一中有相关解释）。
梯度下降：是一种迭代算法。选取适当的初值，不断迭代，更新参数值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新参数的值。

梯度下降算法：

输入：目标函数f(x),梯度函数g(x) = $\triangledown f(x)$ ，计算精度 $\varepsilon$ 。

输出：f(x)的极小点 $x^{*}$ 。

去初始值 $x^{0}\in R^{n}$ ,置k=0.
计算 $f(x^{k})$ .
计算梯度 $g_{k} = g(x^{k})$ ,当 $\left \| g_{k} \right \|< \varepsilon$ 时，停止迭代，令 $x^{*}$ = $x^{k}$ ；否则，令 $p_{k} = -g(x^{k})$ ,求 $\lambda _{k}$ ,使 $f(x^{k}+\lambda _{k}\cdot p_{k}) = min(f(x^{k}+\lambda\cdot p_{k})),\lambda\geq 0$ .
置 $x^{k+1} = x^{k}+\lambda _{k}\cdot p_{k}$ ,计算 $f(x^{k+1})$ ,当 $\left \| f(x^{k+1}-f(x^{k})) \right \|< \varepsilon$ 或 $\left \| x^{k+1}-x^{k} \right \|< \varepsilon$ ，停止迭代，令 $x^{*} = x^{k+1}$
否则 k = k+1 转3.

关注