自适应算法 - 从卡尔曼滤波到网络拥塞算法

无论是卡尔曼滤波，还是网络拥塞算法，都可以看到自适应回归和权重的思想，而关于权重与自适应，再说下去，神经网络算法也是这样子的思想，所以，在这里，就所接触过的一些相关的算法做一些总结，当然，随着研究的深入，可能还会发现更多的总结想法，这些留待后续补充

卡尔曼滤波

卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化自回归数据处理算法）”，
广泛应用于机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。

概念：高斯白噪声，从数学上来讲，就是服从于一定分布的随机变量。这个随机变量服从均值为0方差为sigma方的正态分布

假如要研究一个房间的温度,我们有两个值，经验的预测值（系统的预测值）和温度计的值（测量值）。用这两个值结合他们各自的噪声来估算出房间的实际温度值。

1.初始化与估算
对于k时刻的温度，个人预测值假设是23度，同时该值的高斯噪声的偏差是5度（5是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5）。
温度计此时得到了25度，同时该值的偏差是4度。
由上，可以看出，温度计的偏差比较小，所以权重应该大点，至于给多少权重，经常用的方法是协方差来权衡，所以可以用协方差来估算，Kg^2=5^2/(5^2+4^2)，所以Kg=0.78
所以，我们最后得出来的实际温度值为：25*0.75+23*（1-0.78）=24.56度。

2.自适应
在进入k+1时刻之前，我们还要算出k时刻那个最优值（24.56度）的偏差。
我们要首先算出预测值（23度）的偏差，算法如下：((1-Kg)*5^2)^0.5=2.35，即更新了偏差，由5迭代为了2.3