线性模型
给定
d
个属性描述的示例
f(x)=w1x1+w2x2+…+wdxd+b
一般用向量形式写成
f(x)=wTx+b
其中 w=(w1,w2…,wd)T ,学得 w 和
优点:线性模型具有形式简单、易于建模和很好的可解释性。
常见线性模型:线性回归模型,logistic回归模型等。
线性回归
给定数据集 D={(x1,y1),(x2,y2),…,(xm,ym)} ,其中 xi=(xi1,xi2,…,xid)T,yi∈R ,线性回归目标是学习一个线性模型
f(xi)=wTxi+b
以尽可能准确预测实值输出标记。
记
w^=(wT,b)T,X=⎡⎣⎢⎢⎢⎢⎢x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1dx2d⋮xmd11⋮1⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢xT1xT2⋮xTm11⋮1⎤⎦⎥⎥⎥⎥⎥
故
f(X)=Xw^
将输出标记写为向量形式 y=(y1,y2,…,ym)T ,利用利用均方误差(square loss)作为性能度量,通过使均方误差最小化求解参数值。即
w^∗=argmin(w,b)∑i=1m(y−f(xi))2=argminw^(y−Xw^)T(y−Xw^)
若要求式子 Ew^=(y−Xw^)T(y−Xw^) 的最小值,需要对 w^ 向量的每一个元素求导;即对 w^ 求导得到:
∂Ew^∂w^=2XT(Xw^−y)
令上式为0可得 w^ 最优解的闭式解,当 XTX 为满秩矩阵或正定矩阵时,得到
w^∗=(XTX)−1XTy
令 x^i=(xi1,xi2,…,xid,1)=(xTi,1) 则最终学得的多元线性回归模型为:
f(x^i)=x^i(XTX)−1XTy
当 XTX 不 为满秩矩阵或正定矩阵时,如每条数据中的属性数多于样例数,此时 X 的列数多于行数,