Andrew Ng chapter7 逻辑回归（分类算法）

逻辑回归logistic regression

通常，我们直观上倾向于把1定义为，我们想要寻找的那一类。

继续用线性回归解决分类问题时，会受到个别案例的显著影响，而且线性回归的取值为（负无穷，正无穷），不符合（0,1）所以线性回归不适应做分类。此外，对于分类模型，我们一般有两种方法：
一个最直观的办法就是设定一个阈值，比如0，如果我们预测的数值 y > 0 ，那么属于标签A，反之属于标签B，采用这种方法的模型又叫做感知（Perceptron）。

另一种方法，我们不去直接预测标签，而是去预测标签为A概率，我们知道概率是一个[0,1]区间的连续数值，那我们的输出的数值就是标签为A的概率。一般的如果标签为A的概率大于0.5，我们就认为它是A类，否则就是B类。这就是我们的逻辑回归模型 (Logistics Regression)。

sigmoid function

提出了新的假设函数。被称为sigmoid function或者logistic function

可以将其理解为，概率输出，对于二分类模型

decision boundary

cost function

按照原始公式书写时，是一个非凸函数，具有局部最小值，无法寻找全局最小值。所以，逻辑回归的损失函数如下：

可以简化成

求偏导之后为

具体推导公式如下：

其中也涉及到最大似然估计MLE(Maximum Likelihood Estimation)的思想，最大似然估计是一种“模型已定，参数未知”的方法。

其它的优化方法和优缺点

包括共轭梯度法等

多分类

参考：
深入浅出最大似然估计（Maximum Likelihood Estimation）https://www.jianshu.com/p/f1d3906e4a3e
逻辑回归 logistics regression 公式推导 https://zhuanlan.zhihu.com/p/44591359