最小二乘在机器学习中的使用

最小二乘一些复杂的公式,原理啥的我就不多说了...

直接入题: (因为符号不知道怎么打,下面的推导内容网上也找不到,所以打不出来的我全手写的)

在表达两个变量之间的关系时,有一元线性模型: Y= ax + b, 也有二次函数模型: Y = a₁X² + a₂X  + b ...等等

这里就说最简单的 Y = ax + b

最小二乘法是以实际值与目标值的差的平方和作为损失函数的,

损失函数公式: 

以上公式就是损失函数,其中的系数1/2没有实际意义,就是为了下面的推导可以把系数抹除掉.

其中的 Y = ax + b,  

x 为输入的图片特征数组,比如我上一篇博客中,Hog特征提取,详细步骤及源码 最后输出的特征大数组即可用于X的输入.

a 为输入的各个特征的权重.

a 和 x 都是多维的, b 可以看成是 a_0*1

_{其中的 T 就是目标值,这个目标值是已知的,得自己输入.}

_{上面说了 a 是各个特征对应的权重,简单点就是说一张图片里面表示的识别物体的特征的权重就会高,背景什么的权重就会低,}

_{这个权重我们也是不知道的呀,也不是和 x 一样可以有现成的值输入, 所以我们一开始就得先初始化一下这个权重 a,}