Logistic 损失函数

Logistic 损失函数

1.Logistic函数 & Logistic回归

Logistic函数的定义:

P(x)=11+exp(x)(1)

其中xP(x)。Logistic函数的一个重要的特点:
P(x)=1P(x)(2)

Logistic函数常用语Logistic回归:

P(y=1βx)=exp(βTx)1+exp(βTx)

P(y=0β,x)=11+exp(βTx)(3)

其中x是特征向量β是系数向量。根据公式(2),可以得到:

P(y=1βx)=1P(y=0β,x)(4)

在Logistics回归中,标签y{0,1}。式子(3)用两个表达式来建模,也能够用一个表达式来建模:

P(g=±1β,x)=11+exp(gβTx)(5)

其中g±1是样本点x的标签。很容易证明P(g=1β,x)=1P(g=1β,x)

2. 两种Logistic回归形式的等价性

上述式(3)和(5)描述了Logistics回归的两种形式,这一节证明两中形式是等价的:

P(y=1β,x)=exp(βTx)1+exp(βTx)=11exp(βTx)+1=1exp(βTx)+1=P(g=1β,x)

从分类机制证明(3),类标签为1的概率大于类标签为0的概率:
exp(βTx)1+exp(βTx)11+exp(βTx)exp(βTx)βTx>1y=1>1>0

从分类机制证明(5),类标签为1的概率大于类标签为-1的概率:
11+exp(βTx)11+exp(βTx)1+exp(βTx)1+exp(βTx)exp(βTx)βTx>1g=1>1>1>0

3. Logistic损失

描述Logistics回归的优化形式:

argminiL(yi,f(xi))

其中f是一个假想函数(hypothesis function),L是损失函数。对于Logistic回归:
f(x)L(y,f(x))=βTx=log(1+exp(yf(x)))

其中y{±1}

展开阅读全文

没有更多推荐了,返回首页