一元线性回归
最小二乘法和最大似然估计
最小二乘法:基于均方误差 欧氏距离(平行于y轴)
最大似然估计:基于概率分布 离散型
-
概率质量函数P(注意不是概率密度函数)
-
联合概率函数
求解w和b
求解本质:多元函数求最值点的问题
推导思路:证明损失函数(似然函数)为凸函数:➡️凸函数求最值的方法求解参数
多元线性回归
表达式
为简化表达:
参数估计
利用最小二乘法,可得公式:
简化后:
求解步骤
1.证明其是凸函数
证明海塞矩阵是半正定的
2.用凸函数求最值的方式求解w
一阶导数=0
对数几率回归
本质
在线性模型的基础上套一个映射函数实现分类问题的预测
求解方法
最大似然估计
1.求解概率质量函数
则概率质量函数为:
2.求解似然函数
信息论
二分类线性判别分析
模型
同类样本中心尽可能近
异类样本中心尽可能远
算法
损失函数
计算w
拉格朗日算法思想
广义特征值
广义瑞利商