机器学习(二)——Logistic Regression 解决分类问题的回归函数

机器学习(二)——Logistic Regression

---

1、hypothesis，假设函数

问题的引入是通过这个图片

这个图好像是在说，肿瘤小的时候就是良性的，大的时候就是恶性的。所以使用线性回归构造一个图中的直线没有任何问题。但是当数据没有这么整齐的时候，如果有个例大的肿瘤也是良性，这个预测方式就不对了。

所以需要构造一个模型来进行分类，需要将线性回归的结果进行变换，使y值局限在0到1这个范围之间，就引出了Sigmoid函数:

g(z)=1/(1+e^-z)

它是这样的:

可以看成g(z)是一个概率密度函数，当g(z)大于0.5时，就认为y值为1，且概率为g(z);当g(z)小于0.5时，就认为y值为0，取0概率为1-g(z)。

所以最后的h(x)就变成了这个样子：

h(X)=g(θ^TX)=1/(1+e^-θTX)

---

2、cost function，代价函数

根据线性回归的经验看来，代价函数用h(x)-y的平方和就好了，但是由于这一次的h(x)比较复杂，所以重新来一个代价函数。

结合log(x)的图像可以知道，当h(x)=1时，log(h(x))=0,如果y也是1，表示预测对了，那么就没有cost。如果y=0，h(x)=1,那么-log(1-h(x))为正无穷，cost无穷大。

这样处理之后，就可以使用梯度下降法对代价函数进行求解了。

---

3、迭代

和线性回归一样，迭代过程仍然是:

所以所有重点都来到了偏导数怎么求，先说结果吧，推导过程也不一定要掌握。

最后的结果和线性回归是一模一样的：

结果怎么来的呢，下面就是推导过程:

OK，接下来就是和线性回归一样正常迭代了，找到使得代价函数最小的θ，带入假设函数，然后进行预测就可以了。