机器学习 day06Logistic回归

01 分类

• 针对于离散值来进行分类：y = {0，1}
• 0表示负类，没有什么东西
• 1表示正类，有什么东西
• 不建议将线性回归函数应用于分类情况中
• 使用线性回归在分类问题，如果一个值远离其他值，将会使线性回归算法不够准确。

• Logistic回归算法的预测值一直介于0和1之间，并不会像线性回归算法大于1或者小于0

02 假设陈述

• 假设陈述：当有一个分类问题的时候，我们要使用哪个方程来表示我们的假设。
• Logistic函数的形式如下：对线性回归方程稍作修改。

• 输出某个数字，我们会把这个数字当作对一个输入x，y=1的概率估计

03 决策界限

• 决策界限可以帮助我们理解Logistic回归的假设函数在计算什么。
• 可以从图看出什么时候预测y = 1;什么时候预测y = 0;

• 决策边界将一个平面划分为两个区域，其中一片区域假设函数预测y = 1；另一片区域假设函数预测y = 0。只要我们确定好了参数，我们就将完全确定决策边界。例如下图所示：可以得出直线 X1 + X2 = 3就是决策边界。

• 例题：我们怎么才能使用Logistic回归来拟合这些数据呢？多项式回归及线性回归可以在特征中添加额外的高阶多项式，Logistic回归也可以使用。

• 决策边界不是训练集的属性，而是假设本身及其参数的属性，只要给定了参数向量就可以确定决策边界

04 代价函数

如何拟合Logistic回归模型的参数。当代价函数为0时，可以得出与预测值想拟合。

---

• 如果将代价函数带入到Logistic回归中可以得到左侧图像非凸函数，可是我们想要得到右侧这样得凸函数。

• 因此我们需要重新找到个代价函数可以用在Logistic回归中，保证找到全局最小值。下面使y = 1情况下。

• 下面使y = 0情况下

05 简化代价函数与梯度下降

• 简化后得代价函数

• 式子是在统计学中得极大似然法得来得，他是统计学中为不同模型快速寻找参数得方法。同时他是凸的。

• 如何最小化代价函数：使用梯度下降算法。虽然Logistic回归中梯度下降算法与线性回归中的梯度下降算法长的一样，但是由于假设的定义发生了变化，所以实际上是两种截然不同的。

06 高级优化

• 一些高级算法的优缺点

• 自动求使代价函数最小的参数，使用代码将其实现

• 写一个函数，他能返回代价函数值以及梯度值

07 多元分类：一对多

使用逻辑回归来解决多类别分类问题

---

• 训练一个逻辑回归分类器，预测i类别y = i的概率。在三个分类器中输入x，在其中选择h(x)最大的那个类别。也就是选择出三个里面可信度最高，效果最好的的哪个分类器。

• 无论i是多少，我们都能得到一个最高的概率值，我们预测y就是那个值。