01 分类
- 针对于离散值来进行分类:y = {0,1}
- 0表示负类,没有什么东西
- 1表示正类,有什么东西
- 不建议将线性回归函数应用于分类情况中
- 使用线性回归在分类问题,如果一个值远离其他值,将会使线性回归算法不够准确。
- Logistic回归算法的预测值一直介于0和1之间,并不会像线性回归算法大于1或者小于0
02 假设陈述
- 假设陈述:当有一个分类问题的时候,我们要使用哪个方程来表示我们的假设。
- Logistic函数的形式如下:对线性回归方程稍作修改。
- 输出某个数字,我们会把这个数字当作对一个输入x,y=1的概率估计
03 决策界限
- 决策界限可以帮助我们理解Logistic回归的假设函数在计算什么。
- 可以从图看出什么时候预测y = 1;什么时候预测y = 0;
- 决策边界将一个平面划分为两个区域,其中一片区域假设函数预测y = 1;另一片区域假设函数预测y = 0。只要我们确定好了参数,我们就将完全确定决策边界。例如下图所示:可以得出直线 X1 + X2 = 3就是决策边界。
- 例题:我们怎么才能使用Logistic回归来拟合这些数据呢?多项式回归及线性回归可以在特征中添加额外的高阶多项式,Logistic回归也可以使用。
- 决策边界不是训练集的属性,而是假设本身及其参数的属性,只要给定了参数向量就可以确定决策边界
04 代价函数
如何拟合Logistic回归模型的参数。当代价函数为0时,可以得出与预测值想拟合。
- 如果将代价函数带入到Logistic回归中可以得到左侧图像非凸函数,可是我们想要得到右侧这样得凸函数。
- 因此我们需要重新找到个代价函数可以用在Logistic回归中,保证找到全局最小值。下面使y = 1情况下。
- 下面使y = 0情况下
05 简化代价函数与梯度下降
- 简化后得代价函数
- 式子是在统计学中得极大似然法得来得,他是统计学中为不同模型快速寻找参数得方法。同时他是凸的。
- 如何最小化代价函数:使用梯度下降算法。虽然Logistic回归中梯度下降算法与线性回归中的梯度下降算法长的一样,但是由于假设的定义发生了变化,所以实际上是两种截然不同的。
06 高级优化
- 一些高级算法的优缺点
- 自动求使代价函数最小的参数,使用代码将其实现
- 写一个函数,他能返回代价函数值以及梯度值
07 多元分类:一对多
使用逻辑回归来解决多类别分类问题
- 训练一个逻辑回归分类器,预测i类别y = i的概率。在三个分类器中输入x,在其中选择h(x)最大的那个类别。也就是选择出三个里面可信度最高,效果最好的的哪个分类器。
- 无论i是多少,我们都能得到一个最高的概率值,我们预测y就是那个值。