逻辑回归(LogisticRegress)

逻辑回归是一种预测事件发生的概率模型,类似于线性回归但通过sigmoid激活函数将结果限制在0-1之间。文章详细介绍了逻辑回归的原理,包括sigmoid函数、线性方程、预测函数和条件概率的表示。还探讨了最大似然估计、对数似然函数、梯度下降法及其在参数更新中的应用,最后展示了激活函数的代码实现。
摘要由CSDN通过智能技术生成

1、逻辑回归原理
和线性回归很像,逻辑回归将多元线性函数的结果,再通过sigmod激活函数进行运算,从而将结果压缩至0-1区间,该区间表示事件是否发生的概率。
2、公式推导
sigmod函数定义如下:
这里写图片描述
设线性方程为:
这里写图片描述
则预测函数H为:
这里写图片描述
注意:hθ(x)函数的值表示结果取1的概率,写成条件概率形式,则为:
这里写图片描述
注意:y只能取0或1,当为1时,该式为hθ(x),为0时,该式为1-hθ(x)
对m个样本,取最大似然估计,可得:
这里写图片描述
为方便计算,取对数得l(θ):
这里写图片描述
将J(θ)设为l(θ)乘以-1/m,这样,取似然函数l(θ)的最大值,转换为取J(θ)的最小值。
求J(θ)的最小值可以使用梯度下降法,参数更新公式为:
这里写图片描述
可以看到,需要对J(θ)求导,为了对J(θ)求导,需要先得出h函数的求导公式:
这里写图片描述
使用该公式对J函数求导:
这里写图片描述
这样参数更新的公式为:
这里写图片描述
因为式中α本来为一常量,所以1/m一般将省略,所以最终的θ更新过程为:
这里写图片描述

实例代码:

package com.tao.ml;

import java.util.Arrays;

import com.tao.ml.common.ActivationFunction;
import com.tao.ml.common.sigmoid;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值