吴恩达《机器学习》第六章:逻辑回归

六、逻辑回归

逻辑回归:Logistic Regression,一种广义的线性回归,其因变量可以是二分类的;

       ~~~~~~       如果直接对二分类问题应用线性回归,效果并不理想,因为线性回归输出的是离散值,而不是一个用于分类的0,1值;
在这里插入图片描述
       ~~~~~~       二分类问题的结果只可能有两种,y=0 or 1,而我们线性回归的hθ(x)能够取到一些无法确定的值,比如>1 or <0;所以,必须要有一个以用于二分类问题的 Logistic 回归算法,使hθ(x)的取值在 [0,1] 中,Logistic算法专门用于解决分类问题;

6.1 Sigmoid 函数

使用Sigmoid函数将hθ(x)输出的离散值转化成 [0,1] 范围;
在这里插入图片描述
在这里插入图片描述

6.2 决策边界

6.2.1 线性决策边界

Decision Boundary
在这里插入图片描述
只要θTx>=0,即x01x12x2>=0,那么hθ(x)>=0.5;
在这里插入图片描述

6.2.2 非线性决策边界

在这里插入图片描述

6.3 代价函数

在这里插入图片描述
       ~~~~~~       逻辑回归的代价函数和线性回归的有所不同,因为它由sigmoid函数,是一个非线性函数,所以会遇到很多个局部最优解;

引入逻辑回归中代价函数的惩罚机制
在这里插入图片描述
在这里插入图片描述
这是一个样本的惩罚,而cost函数返回每个样本平均得到的惩罚,它会是一个凸函数,不存在局部最优解;

简化代价函数与梯度下降:
对分段函数做出变换:
在这里插入图片描述
这个代价函数是从统计学中的极大似然法中得到的,它是凸函数,一般会选择它作为逻辑回归的代价函数;
在这里插入图片描述

6.4 高级优化

  • Conjugate gradient
  • BFGS
  • L-BFGS

不需要选择学习率;收敛速度远快于梯度下降;同时也更复杂;

6.5 多类别分类

一对多的分类算法;
多分类 -> 多个二分类;
在这里插入图片描述
每个分类器都针对其中的一种情况进行训练;
比如:
在这里插入图片描述
在这里插入图片描述

       ~~~~~~       最后输入x,选择三个分类器中可信度最高,效果最好的那个分类器,无论i值为多少我们都能得到一个较好的值,所预测的y值就是这个值;

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页