Logistic & softmax

原创 2016年05月30日 20:37:31

转载请注明:http://blog.csdn.net/ben_ben_niao/article/details/51540409

简介

        最近研究类二分类,和多分类,发现对Logistic&softmax的原理理解不深,难以达到灵活运用修改,所以今天总结一下,使自己加深印象。为了节约时间,只写关键步骤。

        首先Logistic regression是针对0/1分类,而softmax是在Logistic基础上的多目标分类,输出是对应类的概率,概率最大的作为我们分类器判断出来的类别。首先讲解Logistic regression:

    1.线性回归(拟合):

              ,

        其中,X为特征向量,h(x)为回归值,  θ在这儿称为参数,可以用向量表示为,,线性回归的目的就是求解θ。那么求解首先就要定义loss function,求解误差最小时的参数解。loss function如下:

   


    2.loss function的概率解释L2距离:

    一般来讲,误差满足平均值为0的高斯分布,也就是正态分布。那么x和y的条件概率也就是,

   

      这样就估计了一条样本的结果概率,然而我们期待的是模型能够在全部样本上预测最准,也就是概率积最大。注意这里的概率积是概率密度函数积,连续函数的概率密度函数与离散值的概率函数不同。这个概率积成为最大似然估计。我们希望在最大似然估计得到最大值时确定θ。那么需要对最大似然估计公式求导,求导结果既是,

这就解释了为何误差函数要使用平方和。


    3.线性回归值映射到[0,1]之间的概率,用Logistic regression:

    logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。如果非要应用进入,可以使用logistic回归.logistic回归的假设函数如下,线性回归假设函数只是clip_image025


    4. 概率解释logistic回归。用来分类0/1问题,也就是预测结果属于0或者1的二值分类问题。这里假设了二值满足伯努利分布,也就是

    根据努伯利分布,则联合概率分布为:

     

    对联合概率分布取log似然,就得到我们的目标函数,那么,在CNN的forward时,得到二分类中为0和1的两个概率值,概率大的被认为是CNN的分类结果。在Backward中,就是优化目标函数,也就是直接对上述目标函数求导。其实,令,

    ,则,这就是选择Logistic 函数的原因。


    5.softmax,主要在Logistic的基础上进行多类别分类。

    假设有k类,应用于一般线性模型,必然是属于个类中的一种。用表示为真,同样当为假时,有,那么进一步得到联合分布的概率密度函数为,设联合概率为

 

    最终的概率为:

    …………(1)…………

    其中n_i为判断为递i类的response,响应经过softmax后变成概率


    6.softmaxloss

    softmaxloss是softmax和Log-loss的组合,首先softmax的输出是概率,log-loss的代价函数为

   

将式子(1)带入,得到:

   

     注意:softmax只是将线性回归的结果映射到[0,1],从而表示概率,而不包含1中线性回归的参数θ,只是用了线性回归的值来映射。所以在caffe中,softmax和softmaxloss是没有参数的。而参数θ可以在fc层求解。故经常看见softmaxloss前面是有一层fc layers,输出K个channel,其中k是类别数目,相应的第i个channel对应判别为第i个类别的response,response最大的判定为分类的结果,response经过Logistic函数映射到[0,1]后才表示概率,Logistic函数是单调递增,所以和response一一对应。(所以forward时并有response就可以了)。caffe之所这样,是为了各个layers能更方便高效的组合。



多目标 VS 多分类

多目标:类别之间是独立的,不要求互斥偶 多分类: 类别之间是互斥的
  • u014221266
  • u014221266
  • 2017年01月17日 15:21
  • 895

Softmax vs. Softmax-Loss: Numerical Stability

The softmax loss layer computes the multinomial logistic loss of the softmax of its inputs. It’s con...
  • ZhikangFu
  • ZhikangFu
  • 2015年09月14日 16:29
  • 740

Softmax Loss、Softmax和Logistic Regression

1. Softmax和Logistic Regression    Logistic Regression只能进行二分类。Softmax是Logistic Regression的推广,可以进行多分类。...
  • lgy_study
  • lgy_study
  • 2018年02月10日 21:29
  • 1

logistic和softmax原理、联系

logistic原文:http://blog.csdn.net/ariessurfer/article/details/41310525 softmax原文:http://blog.csdn.net/...
  • zhangliyao22
  • zhangliyao22
  • 2015年09月11日 21:17
  • 1563

常见激活函数(sigmoid/logistic/tanh/softmax/ReLU关系解释)

常见激活函数sigmoid、logistic、tanh、softmax、ReLU简介及关系解释。
  • Irene_Loong
  • Irene_Loong
  • 2017年09月16日 11:38
  • 614

softmax层(无loss)是什么样的?

名称:softmax_layer 连接:softmax层一般连接的是全连接层和loss层 这里有softmax层的来历解释,我感觉解释的很好:http://zhidao.baidu.com/lin...
  • h_jlwg6688
  • h_jlwg6688
  • 2016年09月22日 16:33
  • 2131

Softmax vs. Softmax-Loss: Numerical Stability

一切起源于我在 caffe 的网站上看到的关于 SoftmaxLossLayer 的描述: The softmax loss layer computes the multinomial l...
  • tsb831211
  • tsb831211
  • 2016年09月27日 11:29
  • 335

机器学习笔记(十)——Logistic Function AND Softmax Function

一、说明        在逻辑回归和一些机器学习算法中, Logistic函数和Softmax函数是常用到的,今天就先讨论下这两个函数。二、Logistic Function        Logi...
  • chunyun0716
  • chunyun0716
  • 2016年06月03日 17:11
  • 1152

机器学习方法(五):逻辑回归Logistic Regression,Softmax Regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。 逻辑回归可以说是最为常用...
  • xbinworld
  • xbinworld
  • 2015年05月12日 22:56
  • 6735

关于Logistic Regression、Softmax Loss和Cross-entropy的随笔

最近看深度学习图像分类的相关知识的时候,发现对于Softmax损失函数的相关概念没有搞明白,因此讲设计到的相关知识一些梳理,供大家参考。 本文以CIFAR-10数据集图片分类任务为例展开,定义第i...
  • yuechuen
  • yuechuen
  • 2017年04月29日 15:56
  • 427
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Logistic & softmax
举报原因:
原因补充:

(最多只允许输入30个字)