一、数学基础
1、似然函数
概率(probability):描述已知参数时的随机变量的输出结果;
似然函数(likelihood):用来描述已知随机变量输出结果时,未知参数的可能取值。
似然函数和密度函数是完全不同的两个数学对象,前者是关于的函数,后者是关于的函数。
2、高斯分布
数学期望(mean):试验中,每次可能结果的概率乘以其结果的总和。
(伯努利)大数定律:当试验次数足够多时,事件发生的频率无穷接近于该事件发生的概率。
伯努利试验:设试验E只可能有两种结果:“A”和“非A”
n重伯努利试验:将E独立的重复地进行n次,则称这一穿重复的独立试验为n重伯努利试验
二项分布(伯努利分布):将一伯努利试验重复了n次,在这n次试验中成功次数k,k为随机变量,称为二次随机变量,其分布称为二项分布
正态分布:又称“高斯分布”
3、对数公式
4、矩阵计算
矩阵转置:行变列,列变行。
矩阵乘法:A的列数必须与B的行数相等
矩阵求导
二、推导
1、线性回归公式
当存在多个特征参数的时候,不同的特征参数对目标函数值有不同的权重参数。
使用矩阵来表示
2、计算误差
误差项:真实值和预测值之间存在的一个误差,我们通常希望误差越小越好。
误差项符合高斯分布,所以
要计算某些参数和特征组合让误差最小,这里引入似然函数
因不考虑定值,得出越小越好
3、矩阵求偏导
根据矩阵知识,将上式转换
对矩阵求偏导
4、最终求解
最好的情况是,偏导数为0,说明梯度递减已经到达最底部
线性回归最优权重求解如下:
扫码关注不迷路
分享每日最新IT资讯和技术干货