前言
双旦有点放飞自我,顺便回家了一趟,是该收收心继续搞了,第二章里面内容很丰富,虽然看起来只有不到二十页。
基本形式
基本形式:
f(x)=w1x1+w2x2+w3x3+...+wdxd+b
,
给定由d个属性描述的示例
x=(x1;x2;...;xd)
,其中
xi是i在第i个属性上的取值,线性模型试图学的一个通过线性组合来进行预测的函数
向量形式:
f(x)=wTx+b
,通过求得
wT和b
确定模型。
通过w可以反映出各属性的重要性。
回归模型
1.线性回归
多元线性回归模型:对于数据集
D=
{
(x1,y1),(x2,y2),...,(xm,ym)
},其中
xi=(xi1;xi2;...;xid)
通过学的
f(xi)=wTxi+b
,使得
f(xi)=yi
(即预测值接近于真实值)
令x^=(w;b)
输入数据集S=
则有: w^∗min=argminw^(y−Xw^)T(y−Xw^)
对w求极值,得到如下解: w^∗min=(XTX)−1XTy
令 x^i=(xi;1) 得到最线性回归模型: f(x^i)=x^Ti(XTX)−1XTy
对数线性回归: lny=wT+b
广义线性模型:对于单调可微函数 g(⋅) (联系函数),令 y=g−1(wTx+b)
2.对数几率回归(logistic regression)
对于二分类情况:在广义线性模型中,找到一个单调可微的函数将任务的真实标记
y
与线性回归模型的预测值联系起来。输出标记
理想的“单位阶跃函数”:
sigmoid函数:将线性回归模型的输出结果转化为接近0或1的值, y=11+e−z ,即 y=11+e−(wTx+b) ,该式可变化为:
若将y视为样本的x作为正例的可能性,则1−y是其反例的可能性,两者的比值:y1−y,称为几率,反映了x作为正例的相对可能性。对数几率:lny1−y .
极大似然法估计w和b:
则: p(y=1|x)=ewTx+b1+ewTx+b,p(y=0|x)=11+ewTx+b
每个样本属于其真实标记的概率越大越好,为了求解方便,取对数似然: l(w,b)=∑mi=1lnp(yi|xi,w,b),令β=(w,b),x^=(x;1),wTx+b=βTx^ 。
令p1(x^;β)=p(y=1|x^;β),p0(x^;β)=1−p(y=1|x^;β),
则l(w,b)可以重写为:
p(yi|xi;w,b)=yip1(x^i;β)+(1−yi)p0(x^i;β).
则最小化
l(w,b)=l(β)
=
∑mi=1(−yiβTx^i+ln(1+eβTx^i)
,通过梯度下降法或牛顿法可以求得最优解(梯度下降法和牛顿法下一次分享),于是我们得到:
β∗=argβminl(β)
梯度下降法迭代公式:
βt+1=βt−λ∂l(β)∂β,(其中λ人工设定)
牛顿法迭代公式:
βt+1=βt−(∂2l(β)∂β∂βT)−1∂l(β)∂β