【Machine Learning】6 逻辑回归(Logistic Regression)

6.1 分类

用拟合，再离散化处理（大于某一阈值输出1，小于输出0）

我们可以看到第一种情况下，分类效果很好；增加了一个例子的第二种会差一些。

逻辑回归其实是分类的一种。

6.2 Hypothesis Representation假说表示

sigmoid function/logistic function可以得到概率来，替代原本非0即1的分类

6.3 Decision Boundary决策边界

也就是说当时，这个模型预测，否则

那么就是原来数据集中分割两部分的线，给出两个例子：

6.4 代价函数

单纯用sigmoid函数我们可能会得到一个非凸的cost function，这样可能无法收敛到最优解。

定义新的cost function：

很合常理，当y=1时，随着远离1，预测越来越不准确，代价自然增大；当y=0是同理。

它的cost function可以写作如下形式：

6.5 简化代价函数和梯度下降

对于新提出的cost function我们如何利用梯度下降呢？

似乎得到的迭代式子跟线性回归一致，但此处的早已不是线性组合的形式而是sigmoid函数。

线性回归的特征放缩加速方法也适用于逻辑回归。

6.6 Advanced optimization高级优化

这节提及优化方法里的几种常见的算法，比较简单。

6.7 多分类问题

如图，我们已经知道如何进行二元分类，如何进行多类分类呢？如上建立三个伪训练集，分解成三个二元分类。

我们得到了三个分类器，挑出一个使最大的，即.