机器学习——逻辑回归

目录

一、分类问题

监督学习的最主要类型

二分类

多分类

二、Sigmoid函数

三、逻辑回归求解

 代价函数推导过程(极大似然估计):

交叉熵损失函数 

逻辑回归的代价函数

代价函数最小化——梯度下降: ​编辑

 正则化

四、逻辑回归代码实现

Sigmoid 函数

代价函数

​编辑 正则化


一、分类问题

监督学习的最主要类型

分类(Classification):

  • 身高1.85m,体重100kg的男人穿什么尺码的T恤?
  • 根据肿瘤的体积、患者的年龄来判断良性或恶性?
  • 根据用户的年龄、职业、存款数量来判断信用卡是否会违约?

 输入变量可以是离散的,也可以是连续的。

二分类

们先从用蓝色圆形数据定义为类型1,其余数据为类型2; 只需要分类1次 步骤:①->②

多分类

我们先定义其中一类为类型1(正类),其余数据为负类(rest); 接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有n类,那就需要分类n-1次 步骤:①->②->③->……

二、Sigmoid函数

σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)

合起来,我们得到逻辑回归模型的假设函数: 

当σ(z)大于等于0.5时,预测 y =1

当σ(z)小于0.5时,预测 y =0 

三、逻辑回归求解

逻辑回归模型的假设函数:

逻辑函数(logistic function)公式为:

二分类相当于一个概率模型: 

合起来:

 代价函数推导过程(极大似然估计):

似然函数为:

似然函数两边取对数,则连乘号变成了连加号:

代价函数为:

交叉熵损失函数 

代价函数就是对m个样本的损失函数求和然后除以m:

逻辑回归的代价函数

代价函数最小化——梯度下降: 

 正则化

正则化:目的是为了防止过拟合

当 λ 的值开始上升时,降低了方差。

四、逻辑回归代码实现

Sigmoid 函数

代价函数

 正则化

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

七七喝椰奶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值