逻辑回归介绍（16）

上一节介绍了线性回归，这一节对逻辑回归做一个简单基础介绍。

文章内容经过简单合并，原文转载自

https://www.cnblogs.com/hezhiyao/p/7577960.html

https://www.baidu.com/link?url=x0Fk83b8ne7BxU59qsZXCgWF3-ZWMRbbkdZDHNKatWqM63Pxzl_YL43aJICSwniP&wd=&eqid=f5b2ce8f0000b994000000065b4f3ad9

感谢以上大神简单易懂的分析和介绍

1 逻辑回归的定位

首先，逻辑回归是一种分类（Classification）算法。比如说：

• 给定一封邮件，判断是不是垃圾邮件
• 给出一个交易明细数据，判断这个交易是否是欺诈交易
• 给出一个肿瘤检查的结果数据，判断这个肿瘤是否为恶性肿瘤

逻辑回归是互联网上最流行也是最有影响力的分类算法，也是深度学习（Deep Learning）的基本组成单元。

2 先给出一个逻辑回归的例子

比如有下面一组数据：
一门考试之前学生的复习时间与这个学生最后是否Pass这门考试的数据

数据：学生复习时间与考试通过

通过这些数据，利用逻辑回归算法进行模型训练，可以得到最终的模型结果是这个样子：

logistic equation

这样，给出任何复习时间，就可以预测出是否通过的概率

模型应用

3 逻辑回归拟合函数：Sigmod函数（逻辑函数）

可以看到，逻辑回归最后的分类结果是0/1，因此，我们选择Sigmod函数（貌似是一个专业术语）来拟合训练数据。Sigmod函数的形式如下，它的x可以无限取值，但是y就在（0，1）之间

Sigmod函数

对于最简单的，只有一个自变量（x）的二元分类（y=0/1）逻辑回归中，构造出来的拟合函数为

最简单的逻辑回归拟合函数

所以，要得到最终的模型，就是根据样本点，计算a和b的值.

在上一节的复习时间和考试的例子中，最终计算出参数a=1.5046，b=-4.0777，因此可以得到下面的拟合函数的图像：

模型的图像

4 模型参数的计算方法

Coursera上Stanford大学的机器学习课程是很好的入门课程（虽说入门，但是我学习起来还是特别的吃力），主讲人Andrew Ng（吴恩达）原来是Google大脑的负责人，现在在百度负责百度大脑和深度学习，是业界最牛的人之一了。他的课程中详细讲解了在逻辑回归中如何来计算模型的参数，我把结论的一页截图放在下面：

Coursera上Stanford的机器学习课程截图

其中，J就是进行拟合的成本函数：

Cost Function

看起来比较复杂，用我们上一节的例子来解释：

这个式子中，m是样本数，y是标签，取值0或1，i表示第i个样本，f(x)表示预测的输出。

我们得到 cost Function 之后，要取得 cost function最小，根据微积分，需要一阶导数为0，二阶导数为正。