【机器学习】8. 逻辑斯蒂回归 Logistic function(sigmoid),cross-entropy error,Log-likelihood loss

线性分类器

Logistic regression 是一个线性分类器。
在这里插入图片描述
如图,1为蓝色,0为红色。这条直线叫做直线边界

Logistic function (sigmoid)

σ ( z ) = 1 1 + e − z σ (z) = \frac{1}{1 + e^{-z}} σ(z)=1+ez1

归一化,数据转0-1.

P [ y = 1 ∣ x ] = σ ( w T x ) P[y = 1 | x ] = σ(w^Tx) P[y=1∣x]=σ(wTx)
P [ y = 0 ∣ x ] = 1 − σ ( w T x ) P[y = 0 | x ] = 1 - σ(w^Tx) P[y=0∣x]=1σ(wTx)
默认大于0.5为1, 小于0.5 为0

w T x w^Tx wTx 为0 的时候 σ ( w T x ) σ(w^Tx) σ(wTx)为0.5
在这里插入图片描述
w T x w^Tx wTx 大于0 的时候,y 为1,小于0的时候,y为0

极大似然估计

跟线性回归一样,我们需要找出最优w,首先,前文得知我们的概率公式如下
p ( y n ∣ x n ; w ) = { σ ( w T x n ) y=1 1 − σ ( w T x n ) y=0 p(y_n|x_n;w) = \begin{cases} σ(w^Tx_n) & \text{y=1} \\ 1- σ(w^Tx_n) & \text{y=0} \end{cases} p(ynxn;w)={σ(wTxn)1σ(wTxn)y=1y=0
该概率公式可以合并成为
p ( y n ∣ x n ; w ) = σ ( w T x n ) y n [ 1 − σ ( w T x n ) 1 − y n ] p(y_n|x_n;w) = σ(w^Tx_n)^{y_n}[1- σ(w^Tx_n)^{1-y_n}] p(ynxn;w)=σ(wTxn)yn[1σ(wTxn)1yn]

当yn分别为0和1的时候,就是上面的概率公式

如果想要求所有点则需要写成求和公式
p ( y n ∣ x n ; w ) = ∑ i = 1 n σ ( w T x n ) y n [ 1 − σ ( w T x n ) 1 − y n ] p(y_n|x_n;w) = \sum^n_{i=1}{σ(w^Tx_n)^{y_n}[1- σ(w^Tx_n)^{1-y_n}]} p(ynxn;w)=i=1nσ(wTxn)yn[1σ(wTxn)1yn]
接下来的思路是让p最大(loss最小)
首先取log,得到
L o g P ( D ) = ∑ i = 1 n y i l o g σ ( w T x n ) y n + ( 1 − y i ) l o g [ 1 − σ ( w T x n ) ] LogP(D) = \sum^n_{i=1}{y_ilogσ(w^Tx_n)^{y_n}+(1-y_i)log[1- σ(w^Tx_n)]} LogP(D)=i=1nyilogσ(wTxn)yn+(1yi)log[1σ(wTxn)]
但得到这个公式,我们是需要求最大值的,所以可以转换成我们熟悉的loss,求最小值,在前面加一个负号即可,得到交叉熵函数(cross-entropy error function)
L o g P ( D ) = − ∑ i = 1 n y i l o g σ ( w T x n ) y n + ( 1 − y i ) l o g [ 1 − σ ( w T x n ) ] LogP(D) =- \sum^n_{i=1}{y_ilogσ(w^Tx_n)^{y_n}+(1-y_i)log[1- σ(w^Tx_n)]} LogP(D)=i=1nyilogσ(wTxn)yn+(1yi)log[1σ(wTxn)]
梯度为
∇ f ( w ) = x i ∑ i = 1 n σ ( w T x i ) − y i ∇f(w) = x_i\sum^n_{i=1} {{σ(w^Tx_i) - y_i}} f(w)=xii=1nσ(wTxi)yi

Log-likelihood loss

l l o g ( p , y ) = { − l o g ( p ) y=1 − l o g ( 1 − p ) y=0 l_{log}(p,y) = \begin{cases} -log(p) & \text{y=1} \\ -log(1-p) & \text{y=0} \end{cases} llog(p,y)={log(p)log(1p)y=1y=0

p = σ(w^Tx_n)

在这里插入图片描述
y = 1 的时候,p值越大损失越小,p值越小损失越大

  • 18
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值