线性回归分析

一元线性回归

最小二乘法和最大似然估计

最小二乘法：基于均方误差 欧氏距离（平行于y轴）

最大似然估计：基于概率分布 离散型

1. 概率质量函数P（注意不是概率密度函数）

2. 联合概率函数

    

求解w和b

求解本质：多元函数求最值点的问题

推导思路：证明损失函数（似然函数）为凸函数:➡️凸函数求最值的方法求解参数

 

 

 

 

 

多元线性回归

表达式

 

为简化表达：

 

参数估计

利用最小二乘法，可得公式：

 

简化后：

 

求解步骤

1.证明其是凸函数

证明海塞矩阵是半正定的

 

 

 

2.用凸函数求最值的方式求解w

一阶导数=0

 

对数几率回归

本质

在线性模型的基础上套一个映射函数实现分类问题的预测

求解方法

最大似然估计

1.求解概率质量函数

 

则概率质量函数为：

2.求解似然函数

 

信息论

 

 

 

二分类线性判别分析

模型

同类样本中心尽可能近

异类样本中心尽可能远

算法

损失函数

 

计算w

拉格朗日算法思想

 

广义特征值

广义瑞利商