![1ca33340c38be35b25c5cc0010b9720b.png](https://i-blog.csdnimg.cn/blog_migrate/08693af11bae6a523d732f0fa5261b9b.jpeg)
先做个广告:
零、概述
本文内容包括:线性模型、广义线性模型、逻辑回归、牛顿法以及 IRLS 。前导知识包括:矩阵、向量的计算,多元函数的梯度、赫森矩阵以及二阶泰勒展开,概率论。
一、线性模型
假设样本由
则当
那么这就是加性高斯误差。在这种设定下分布
把该条件期望当作
最后一个等号后面的
令
最后一个等号后面的
这就是要寻找的最优参数——线性回归的最小二乘解。当
先做个广告:
零、概述
本文内容包括:线性模型、广义线性模型、逻辑回归、牛顿法以及 IRLS 。前导知识包括:矩阵、向量的计算,多元函数的梯度、赫森矩阵以及二阶泰勒展开,概率论。
一、线性模型
假设样本由
则当
那么这就是加性高斯误差。在这种设定下分布
把该条件期望当作
最后一个等号后面的
令
最后一个等号后面的
这就是要寻找的最优参数——线性回归的最小二乘解。当