机器学习算法中的假设函数与损失函数以及梯度

线性回归:

  • 假设函数
    hθ(x)=θTx
  • 损失函数
    J(θ)=12mi=0(hθ(xi)yi)2+12λnj=0θ2j
  • 梯度
    θjJ(θ)=(yihθ(xij))x(i)j+λθj
  • 简易法
    θ=(xTx+λI)1xTy

逻辑回归:

  • 假设函数
    hθ(x)=g(θTx)=11+exp(θTx)
  • 损失函数
    J(θ)=1m[mi=0y(i)loghθ(x(i))+(1y(i))log(1hθ(x(i)))]
  • 梯度
    θjJ(θ)=1m(hθ(xij)yi)x(i)j

softmax回归:

  • 假设函数

hθ(x(i))=p(y(i)=1|x(i);θ)p(y(i)=2|x(i);θ)p(y(i)=k|x(i);θ)=1kj=1eθTjx(i)eθT1x(i)eθT2x(i)eθTkx(i)

  • 损失函数

J(θ)=1mi=1mj=1k1{y(i)=j}logeθTjx(i)kl=1eθTlx(i)+λ2i=1kj=0nθ2ij

  • 梯度
    θjJ(θ)=1mi=1m[x(i)(1{y(i)=j}p(y(i)=j|x(i);θ))]+λθj

SVM

  • 目标函数

    min12||w||2s.tyi(wTΦ(xi)+b)1i=1,2,3.....,n

    根据拉格朗日求极值的方法整理得:
    minα12i=0nj=0nαiαjyiyj(Φ(xi)Φ(xi))i=0nαis.ti=0nαiyi=0αi0

    增加松弛因子后目标函数变为:
    min12||w||2+Ci=0nξis.tyi(wTΦ(xi)+b)1ξiξi0

    根据拉格朗日求极值的方法整理得:
    minα12i=0nj=0nαiαjyiyj(Φ(xi)Φ(xi))i=0nαis.ti=0nαiyi=00αiC

  • 损失函数
    L(y)=1mmi=0max(0,1y(i)y^(i))

总结:
线性回归是最小二乘损失:L(y,y^)=1mmi=0(y(i)y^(i))2
逻辑回归与softmax回归是交叉熵损失:L(y,y^)=1mmi=0y(i)logy^(i)
SVM是hinge损失:L(y)=1mmi=0max(0,1y(i)y^(i))

展开阅读全文

没有更多推荐了,返回首页