Machine Learning Andrew Ng -6. Logistic Regression

6.1 Classification

预测变量y是离散值情况下的分类问题

Classification

• Email : Spam / Not Spam?
• On-line Transactions : Fraudulent (Yes / No)?
• Tumor : Malignant / Benign ?

Linear regression 可能拟合出的曲线worked well

但是，当我们在training set中多加一个实例，就会发现Linear regression 所拟合出来的直线not often a good idea

所以，不推荐将Linear regression 用于 classification problems

因此我们引入Logistic regression

Although Logistic regression 名称中有regression, 但实际上这是一个用来处理classification 分类问题的算法

6.2 Hypothesis Representation (假设表示)

6.3 Decision boundary (决策边界)

一旦我们有了${\theta }_0,{\theta }_1,{\theta }_2$, 我们就有了确定的Decision boundary

决策边界不是训练集的属性，而是假设本身及其参数的属性，只要给定了参数向量$\theta$, 决策边界就确定了

我们用训练集来拟合参数$\theta$, 而不是用训练集来定义的决策边界

6.4 Cost function

如何拟合参数$\theta$ ?

如果仍使用Linear regression 的 cost function, we find that $J(\theta )$ is a non-convex function ，so 我们要 look up a new cost function, 这样在使用gradient descent 时可以保证只有一个局部最小值

如果$y=1，h_{\theta }(x)=1$, (即$y=1$的概率是1)， 则$cost=0$, 反之，$h_{\theta }(x)\to 0$,(即$y=1$的概率是0)， 则$cost\to \infty$ (因为此时$y=1$).

$y=0$ 同理。

6.5 Simplified cost function and gradient descent

最小化代价函数的方法是使用梯度下降法

6.6 Advanced optimization

高级优化方法

Conjugate gradient 共轭梯度法

BFGS, L-BFGS都是拟牛顿法的一种

6.7 Multi-class classification : One-vs-all (多类别分类问题)

将其分成两个独立的二元分类问题，创建一个新的伪训练集，其中类别2和类别3设定为负类，类别1设定为正类。我们要拟合一个分类器，称其为$h_{\theta }^{(1)}(x)$.

然后， 我们对类别2进行同样的处理，拟合第二个逻辑回归分类器，称其为$h_{\theta }^{(2)}(x)$. 对类别3进行同样的处理，拟合第三个逻辑回归分类器，称其为$h_{\theta }^{(3)}(x)$.