西瓜书——线性模型

线性模型

一元线性回归

• 模型：线性模型$y=wx+b$
• 策略：损失函数->均方误差最小
• 算法：求解损失函数，确定最佳模型

多元线性回归

• 模型：

$$y={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

• 策略：损失函数->均方误差最小
• 算法：求解损失函数$\hat{w},\hat{b}$，确定最佳模型。

求解方法：考虑凸函数的极值点

对数几率回归（可以看作概率）

• 模型：线性模型，使输出值$y\in [0,1]$

$$y=\frac{1}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}$$

• 策略：损失函数->极大似然估计，信息论（上了一学期信息论终于知道有啥用了–hah）
• 算法：最优化算法(梯度下降、牛顿法…)

二分类线性判别分析

• 模型：将所有点投影到一条直线上，使得同类样本尽可能聚集，不同类样本尽可能远离。翻译成数学语言：

$$\begin{gathered} max||{\mathbf{w}}^{\mathbf{T}}{\mu }_0-{\mathbf{w}}^{\mathbf{T}}{\mu }_1|{|}_2^2 \\ min({\mathbf{w}}^{\mathbf{T}}{\Sigma }_0\mathbf{w}+{\mathbf{w}}^{\mathbf{T}}{\Sigma }_1\mathbf{w}) \end{gathered}$$

​ 即同类的方差最小，异类的中心距离最大。

• 策略：损失函数

$$maxJ=\frac{||{\mathbf{w}}^{\mathbf{T}}{\mu }_0-{\mathbf{w}}^{\mathbf{T}}{\mu }_1|{|}_2^2}{{\mathbf{w}}^{\mathbf{T}}{\Sigma }_0\mathbf{w}+{\mathbf{w}}^{\mathbf{T}}{\Sigma }_1\mathbf{w}}$$

• 算法：拉格朗日乘子法求解最佳$\mathbf{w}$