《机器学习》笔记01 | 线性模型篇 | 要点摘要和难点笔记

图片都是原文，原文都是图片~~

1. 线性回归和最小二乘

1.1 基本思想

一元线性回归的定义：

多元线性回归的定义：

显然，一元线性回归是多元线性回归的特例。

1.2 目标函数—均方误差

1.2 最小二乘求解

一元线性回归求解：

多元线性回归求解：

2.对数线性回归

3. 对数几率回归或logistics回归

3.1 基本思想

3.2 目标函数及求解

4. 线性判别分析-Linear Discriminant Analysis

4.1 基本思想

4.2 目标函数及求解

【说明-自己的理解】式子（3.38）中的λ理论上未必是勒格朗日乘子法中的那个λ，更准确地，一个是λ1，一个是λ2。但是由于w其实重要的是个向量（只关心其方向而非大小），因此才可以得到式子（3.39）。

4.3 作为监督降维技术方法

待补充~~

5. 其他参考资料

如何理解拉格朗日乘子法？ - 卢健龙的回答 - 知乎