机器学习系列 六 Logistic Regression逻辑回归

原创 2018年04月17日 16:06:43
逻辑回归
如果用图像化表示:
Logistical Regression的模型就是这样
Z = 求和WiXi + b

现在,来按照机器学习的三部曲来一步一步的进行。
第一步,选择模型 也就是function set
我们从这里可以看出,LR 是在线性回归的model前面加入了sigmod的function,好让线性模型的输出是介于0和1之间。他的输出就是概率。possibility

第二步,判断function 的好坏
我们选择一组测试集,编号从1到N, 假设这些数据是由function的possibility概率所定义出来的。
然后我们要去找一组w,b来去寻找这个possibility概率最大化的组合。


但是呢,本来我们是要找是的L最大化的w和b。
不过,我们取 - lnL,这样我们就相当于去找到是的这个  - ln L(w,b) 式子最小的w和b
也就是这两个式子是相等的:这就是最大似然估计


那我们就把x对应给一个y hate,那么y hate1 =1, y hate 2 = 1, y hate 3 = 0
那么,我么就可以拆开这个式子。使用交叉熵把左边的式子对等给右边的式子。
由于 x1 和x2 都属于C1 类型,所以 y hate 1=1, y hate 2=1. 所以 1 - y 1 hate 和 1 - y 2 hate 都等于0 喽

然后带入y 3 hate = 0。 得到
我们就证明了上面的三个等式。

下面,我们对 L 取 负的自然对数,让一个取最大数的方程,变成一个取最小数的方程。
为什么要取自然对数呢?取自然对数是为了使乘除运算变为加减运算,更为方便


下面就是用导出了交叉熵的公式。

这里得出了第二步中的不同:
到这里,请记住这个公式!交叉熵


第三步


















Generative model 对比 Discriminative model
大部分情况人们相信discriminative模型更好

但generative 模型在哪些情况有优势呢?
    1. 当training data 数据比较少的时候。 
        这个时候就需要靠着几率模型来脑补在training data里面没有观察到的事情,来得到更准确的判断。generative model具有脑补的特性。
    2. 当前有较大的noise。
    有一笔数据,他的两个dimension维度都是class1 第一种类型,这个分类搞不好是错的。如果使用generative model 他会有模型的假设,有时候跟直觉看到的状况不一样,这样就可以一定程度避免因为表面特性导致的片面判断。





LR 的限制

考虑一个二分类为题,异或不可分




使用一些手段可以避免这个问题。特征转换。但通常并不时很容易知道怎么做,需要很多经验。




类似于多层叠加的LR, 多层感知机模型 --- 神经网络雏形






下面举一个小例子:






百度推广教程(六)

-
  • 1970年01月01日 08:00

机器学习入门系列06,Logistic Regression逻辑回归

逻辑回归和线性回归的对比;交叉熵的应用;判别方法(逻辑回归)和生成方法(用高斯描述后验概率);Softmax推导(常规推导和最大熵推导);特征转换引入神经网络...
  • zyq522376829
  • zyq522376829
  • 2017-04-10 09:09:36
  • 1409

机器学习笔记04:逻辑回归(Logistic regression)、分类(Classification)

我们已经大概学习了用线性回归(Linear Regression)来解决一些预测问题,详见: 1.《机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradient De...
  • Artprog
  • Artprog
  • 2016-04-28 00:49:04
  • 7313

机器学习方法(五):逻辑回归Logistic Regression,Softmax Regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术、应用感兴趣的同学加入。 逻辑回归可以说是最为常用...
  • xbinworld
  • xbinworld
  • 2015-05-12 22:56:53
  • 7586

Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归(Logistic Regression)

1. Classification 这篇文章我们来讨论分类问题(classification problems),也就是说你想预测的变量 y 是一个离散的值。我们会使用逻辑回归算法来解决分类问题。 之...
  • mydear_11000
  • mydear_11000
  • 2016-03-12 13:30:11
  • 1764

Coursera机器学习-第三周-逻辑回归Logistic Regression

Classification and Representation 1. Classification Linear Regression (线性回归)考虑的是连续值([0,1]之间的数)的问题,...
  • dingchenxixi
  • dingchenxixi
  • 2016-05-10 10:41:40
  • 2123

[机器学习入门] 李宏毅机器学习笔记-6 (Classification: Logistic Regression;逻辑回归)

[机器学习] 李宏毅机器学习笔记-6 (Classification: Logistic Regression;Logistic回归) PDF VIDEOThree stepsStep 1: ...
  • soulmeetliang
  • soulmeetliang
  • 2017-06-05 12:52:55
  • 1657

斯坦福机器学习编程作业machine-learning-ex2,Logistic Regression逻辑回归题目,满分,2015最新作业答案

  • 2015年10月15日 15:06
  • 268KB
  • 下载

【机器学习】Logistic Regression 的前世今生(理论篇)

Logistic Regression可以说是机器学习的入门算法。不过,你真的有把握能够把LR从头到脚讲一遍吗?你会现场建模,数学推导?你知道它的正则化的作用?你能讲清楚它跟MaxEnt最大熵模型的关...
  • cyh24
  • cyh24
  • 2015-12-19 17:36:12
  • 17758

Logistic回归总结(非常好的机器学习总结资料)

  • 2013年11月13日 20:56
  • 450KB
  • 下载
收藏助手
不良信息举报
您举报文章:机器学习系列 六 Logistic Regression逻辑回归
举报原因:
原因补充:

(最多只允许输入30个字)