【机器学习】第三章 线性模型

1.一元线性回归

损失函数：两种是等价的。

1.最小二乘法

要使得均方误差（square loss）最小。

2.极大似然估计

使得联合概率（也就是似然函数）最大。

前提假设：n个独立同分布样本。似然函数是它们的联合概率，要找一个θ使得最大。

似然函数有连乘性，可以取对数。

求解参数的过程分两步：

1.证明目标函数是凸函数

这个先求海塞矩阵（就是多元函数二阶偏导的矩阵），证明这个矩阵是半正定的（就是顺序主子式非负），那么目标函数就是凸函数了。

2.用凸函数求最值的方法求解

令梯度（一阶偏导）=0即可。

2.多元线性回归

有一个维度扩充的步骤，就是d维的特征向量w，把b加d+1维，b改写成，便于矩阵运算。

3.对数几率回归

本质是在线性模型基础上加了一个映射函数，把R映射到[0,1]，这样就可以用回归实现分类问题了。

这个映射函数一般是sigmoid函数：

损失函数可以用极大似然估计、交叉熵，求解用梯度下降、牛顿法。

前面的一元和多元线性回归有闭式解（closed form），但对数几率回归是没有的，只能近似求解。

此外，有的翻译成逻辑回归是不准确的。logistic和logic不是一个意思哦。

4.线性判别分析（LDA）

基本思想：同类样本方差尽量小，异类样本中心尽量远。

损失函数：

是类间散度矩阵（均值中心距离）

是类内散度矩阵（同类样本方差）

是样本投影的那条向量

由于模可以约掉，所以用拉格朗日乘子法求解时，w的取值无所谓。