机器学习第三章复习（1）

本文用于复习《Machine Learning》第三章部分内容

内容来自于Andrew Ng的机器学习课程，主要是为了回忆起来方便

第三章第一讲主要讲解了分类问题和引入logistic regression

---

• classification problem

在之前的章节中一直都在讲解的是regression problem，然而回顾第一章讲的supervised learning其实是包含regression problem和classification problem的。其实际用例有：判断邮件是否为垃圾邮件，判断肿瘤是否为恶性肿瘤等等。

图片（来自课程）如上所示，假设一开始只有前八个“X”，那么可能意思就是肿瘤大小较小的前四个为非恶性肿瘤，肿瘤较大的后四个为恶性肿瘤，此时我们继续运用之前的linear regression。

要知道 linear regression的目标是与预测值尽可能接近，那么应该就会出现玫红色的线，表明线以下的就是良性，以上就是恶性，可是当出现第九个点时，我们的预测就会失效，且我们就算根据第九个点调整预测线，也会导致错误。

所以！linear regression已经不适用了，此时引入logistic regression如下图所示，更合适于区分类别。

• logistic regression

逻辑回归如上图所示，z大于0就判断g(z)大于0.5（可以变相举例理解为几率大于50%为恶性肿瘤）反之同理，最后得到公式如下

$$h_θ(x)=\frac{1}{1+e^{−θ^Tx}}$$
- decision boundary
我将之称作决策分界线，例如在之前的例子中，我们可以将分界定为50%，即是说当hθ(x)≥0.5，则y=1，反之y=0，这样划出的界线就是decision boundary，当然decision boundary还可以是各式各样的。