线性回归
最小二乘法
对于某数据量 有呈线性关系的输出量
,且
,现有对这些数据量的采集序列
,这些采集量会存在随机误差
,线性回归的目的便是找到保证使误差最小的情况下的回归系数
。
即通过下列方程组求
可利用最小二乘法,先获取正规方程:
系数矩阵为
误差向量为
回归系数向量为
输出向量为
正规方程为 ,由于
,故
。
由此得到回归系数。对于不等精度测量,只需在误差向量前乘上权值向量
即可。
最小二乘法精度估计
最小二乘法所得到的回归系数的精度取决于测量数据集的精度,有不定乘数矩阵
,对于等精度测量所得
,其标准差为
,则估计量
的协方差为
,若为不等精度测量,则
。
对于多元线性回归,仍采用最小二乘法求解。
线性递推回归
上述回归,是基于一次性得到全部测量结果计算的,而在动态测量中,数据数量是逐渐增加的,若需实时进行回归处理,那么每当获得一个新数据便需要及时解出回归方程的新系数,解法如下。
假如已经采集了 组数据,那么根据上述正规方程的解法有
,此时新加入测量量
,令
则
令则