逻辑回归介绍(16)

上一节介绍了线性回归,这一节对逻辑回归做一个简单基础介绍。

文章内容经过简单合并,原文转载自

https://www.cnblogs.com/hezhiyao/p/7577960.html

https://www.baidu.com/link?url=x0Fk83b8ne7BxU59qsZXCgWF3-ZWMRbbkdZDHNKatWqM63Pxzl_YL43aJICSwniP&wd=&eqid=f5b2ce8f0000b994000000065b4f3ad9

感谢以上大神简单易懂的分析和介绍

1 逻辑回归的定位

首先,逻辑回归是一种分类(Classification)算法。比如说:

  • 给定一封邮件,判断是不是垃圾邮件
  • 给出一个交易明细数据,判断这个交易是否是欺诈交易
  • 给出一个肿瘤检查的结果数据,判断这个肿瘤是否为恶性肿瘤

逻辑回归是互联网上最流行也是最有影响力的分类算法,也是深度学习(Deep Learning)的基本组成单元。

2 先给出一个逻辑回归的例子

比如有下面一组数据:
一门考试之前学生的复习时间与这个学生最后是否Pass这门考试的数据

数据:学生复习时间与考试通过

通过这些数据,利用逻辑回归算法进行模型训练,可以得到最终的模型结果是这个样子:

logistic equation

这样,给出任何复习时间,就可以预测出是否通过的概率

模型应用

3 逻辑回归拟合函数:Sigmod函数(逻辑函数)

可以看到,逻辑回归最后的分类结果是0/1,因此,我们选择Sigmod函数(貌似是一个专业术语)来拟合训练数据。Sigmod函数的形式如下,它的x可以无限取值,但是y就在(0,1)之间

Sigmod函数


对于最简单的,只有一个自变量(x)的二元分类(y=0/1)逻辑回归中,构造出来的拟合函数为

最简单的逻辑回归拟合函数


所以,要得到最终的模型,就是根据样本点,计算a和b的值.

在上一节的复习时间和考试的例子中,最终计算出参数a=1.5046,b=-4.0777,因此可以得到下面的拟合函数的图像:

模型的图像

4 模型参数的计算方法

Coursera上Stanford大学的机器学习课程是很好的入门课程(虽说入门,但是我学习起来还是特别的吃力),主讲人Andrew Ng(吴恩达)原来是Google大脑的负责人,现在在百度负责百度大脑和深度学习,是业界最牛的人之一了。他的课程中详细讲解了在逻辑回归中如何来计算模型的参数,我把结论的一页截图放在下面:

Coursera上Stanford的机器学习课程截图

其中,J就是进行拟合的成本函数:

Cost Function


看起来比较复杂,用我们上一节的例子来解释:

这个式子中,m是样本数,y是标签,取值0或1,i表示第i个样本,f(x)表示预测的输出。

我们得到 cost Function 之后,要取得 cost function最小,根据微积分,需要一阶导数为0,二阶导数为正。

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值