斯坦福大学机器学习——logistic回归

15 篇文章 0 订阅
10 篇文章 0 订阅

Logistic回归是一种最常见的二分类算法,它利用已知样本对模型进行参数估计,属于监督算法。

一、   logisitic 函数

形如的函数称为logistic函数,也称sigmoid函数(S形函数), 其函数图像如下图所示:


logistic函数具有如下性质:

1)      连续性:在区间连续;

2)      对称性:关于点(0,0.5)对称;

3)      单调性:在区间单调递增;

4)      有界性:在区间取值范围为:[0,1]。

二、   Logistic回归模型

Logistic回归的预测函数(hypotheses)为:


输入:m个训练样本,其中

输出:回归系数

令:那么,

以上两式可以合并为如下形式:

它的极大似然方程为:

                                                                      

                                                                      

化为对数形式:

                                                                           

                                                         

由于具有相同的单调性,因此求出的最大值即可。

                                                      

                                                     

求偏导:


利用stochastic梯度上升规则对各进行迭代求值:

这看上去与LMS的迭代公式类似,但是不同,因此是两个不同的迭代公式。

最后将求出的带入,输入新的样本会得到的值,如果,那么,该样本属于标签1的概率更大,将该样本归为标签1所在的类;反之,若,该样本属于标签0的概率更大,则将该样本归为标签0所在的类;

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值