线性回归(线性回归的目标是找到一组权重向量w和偏置b)
y = w1 x1 + w2 x2 + w3 x3 + b w123为权重值,b为偏差值
给定n维输入: x= [x1 , x2 , …, xn ] T
线性模型有一个n维权重和一个标量偏差: w = [w1 ,w2 , …,wn ] T , b
输出是输入的加权和: y = w1 x1 + w2 x2 + … + wn xn + b
(用向量的写法)y = 〈w, x〉 + b
线性模型可以看作是单层的神经网络
常见评估模型
(平方损失公式)
(均方损失公式)
重点来了!!!!
训练数据(如何获得权重和偏差)
1.收集一些数据点来决定参数值,这被称作训练数据,通常越多越好,假设有n个样本,记:
X = [x1 , x2 , …, xn]^ T y = [y1 , y2 , …, yn] ^ T
2.参数学习
(1)训练损失
此公式由平方损失公式得来,第二个等号后面的是向量版本
我们此时的目标,就是找到一个w和b,使得此公式的结果值最小,为此,我们使用了最小化损失来学习参数,如下
(2)最小化损失来学习参数
,arg是求当损失函数最小的时候的参数值
3.显示解(与其他大部分模型不同,线性回归的解可以用一个公式简单地表达出来, 这类解叫作解析解(analytical solution))
(ps: 最后得到的式子又叫“正规方程”,其推导过程可以参考:正规方程求解特征参数的推导过程_chenlin41204050的博客-CSDN博客_正规方程组的求解过程
)这个方程可以背下来
这里面,ℓ(X, y, w) 时代价函数,对向量求导数,得其转置,大X看作w系数,
由于损失是凸函数加一个负号,所以最优解满足:当求导后的值为0时,原函数有最小值
(补充说明凸函数)
总结:
特别感谢:
李沐老师