机器学习笔记（参考吴恩达机器学习视频笔记）05_逻辑回归

5 逻辑回归

逻辑回归是一种分类算法，它的输出值永远在0与1之间。适用于标签y取离散的情况。逻辑回归模型的假设是：其中：代表特征向量；g代表逻辑函数（logistic function），它是一个常用的S形逻辑函数，公式为：该函数的图像为：

假设函数可以表示为：

5.1 代价函数

这样构建的函数的特点是：当实际的y=1且也为1时误差为0，当y=1但不为1时误差随着变小而变大；当实际的y=0且也为0时，代价为0，当y=0但不为0时误差随着的变大而变大。

函数简化如下：

带入代价函数得到：

使用用梯度下降算法来求得能使代价函数最小的参数。算法为：

5.2 多类别分类：一对多

对于一个含有3个类型的数据集，使用一个训练集，将其分成 3 个二元分类问题。类型 2 和类型 3 定为负类，类型 1 设定为正类，我们创建一个新的训练集