[机器学习] 第三章 线性模型 1.线性回归 & 逻辑回归 & 线性判别分析LDA

参考：西瓜书，葫芦书
参考：https://www.cnblogs.com/LittleHann/p/10498579.html#_lab2_0_0
katex:https://www.pianshen.com/article/82691450250/
latex:https://www.cnblogs.com/veagau/articles/11733769.html
参考：https://blog.csdn.net/ruthywei/article/details/83045288

一、线性回归

1. 线性模型

在一个理想的连续世界中，任何非线性的东西都可以被线性的东西来拟合（参考Taylor Expansion泰勒展开公式），所以理论上线性模型可以模拟物理世界中的绝大多数现象。
而且因为线性模型本质上是均值预测，线性模型参数求解的本质是线性方程组求解；而大部分事物的变化都只（w，b）是围绕着均值(μ)而波动，即大数定理。

1.1 判断线性的标准

是否为线性模型取决于参数是否线性，而非自变量等。
因为在回归问题中，主要重点是参数，而不是自变量或预测变量x。