机器学习笔记——逻辑回归之二分类

本文介绍了逻辑回归在二分类问题中的应用,解释了为什么不能直接使用线性回归解决此类问题,并详细阐述了逻辑回归的基本思路,包括sigmoid函数的作用、设计矩阵的维度、分类边界的确定以及采用交叉熵损失函数而非平方损失函数的原因。通过对损失函数的讨论,揭示了逻辑回归中凸函数优化的优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、什么是逻辑回归?

  • 逻辑回归(Logistic Regression)。虽然逻辑回归叫回归但却是用来解决分类问题的,并且常用于二分类问题。逻辑回归的本质是:假设数据服从某个分布,然后使用极大似然估计做参数的估计
  • Logistic 分布是一种连续型的概率分布,其中, μ \mu μ表示位置参数, γ \gamma γ为形状参数。其分布函数和密度函数分别为:在这里插入图片描述
    在这里插入图片描述
  • 我们接下来可能用到的和深度学习神经网络中常用的sigmoid函数就是Logistic函数的一个特例。logistic函数当 μ = 0 , γ = 1 \mu=0,\gamma=1 μ=0,γ=1时就变成了sigmoid函数。该函数中心点为0( μ = 0 \mu=0 μ=0),值域分布为(-1,1)( γ = 1 \gamma=1 γ=1)。
    在这里插入图片描述
    在这里插入图片描述

二、可否用线性回归解决二分类问题?

  • 其实分类也需要通过模型预测得到一个变量值,然后再根据该变量与分界标准与比对实现分类。那么能否用简单的线性回归来实现二分类呢?
    在这里插入图片描述
  • 上图表示的含义是:根据肿瘤大小来分类肿瘤良性或者是恶性。分析上图,当我们的训练数据集只有左下方4个和中间4个时,我i们可以得到蓝色的线性回归直线,我们可以使用0.5当作分界值来分类良性与恶性。
  • 但如果我们将右上方的点考虑进来,也就是极端情况(肿瘤很大且是恶性)。根据以上数据我们可能得到红色的回归直线,当然不能再使用0.5的分界线,假设使用0.7的分界线,那么我们部分恶性肿瘤就可能被判断为良性。
  • 因此线性回归模型很容易收到极端数据的影响,不可以用简单的线性回归模型来解决二分类问题。

三、逻辑回归基本思路

1.sigmoid函数拟合分布

  • 线性回归函数的值域为 ( − ∞ , + ∞ ) (-\infty,+\infty) (,+),而二分类问题的值域为{0,1}。我们令 z = θ T x = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . . , z 属 于 ( − ∞ , + ∞ ) z=\theta^Tx=\theta_0+\theta_1x_1+\theta_2x_2+....,z属于(-\infty,+\infty) z=θTx=θ0+θ1x1+
机器学习中的二分类逻辑回归是一种用于解决二分类问题的算法。它的基本思路是通过构建一个逻辑回归模型,将输入的特征映射到一个概率值,然后根据这个概率值进行分类。 逻辑回归使用sigmoid函数来处理hθ(x),这是因为sigmoid函数的取值范围在0到1之间,可以将线性回归的输出转化为一个概率值。通过sigmoid函数处理后,我们可以将概率值大于等于0.5的样本划分为正类,概率值小于0.5的样本划分为负类。这使得逻辑回归可以用于二分类问题。 代价函数的推导和偏导数的推导是为了求解逻辑回归模型中的参数θ。通过最小化代价函数,我们可以得到最优的参数θ,使得模型的预测结果与真实标签最接近。 在正则化逻辑回归中,我们引入正则化项的目的是为了避免过拟合。正则化项可以惩罚模型中的参数,使得参数的值趋向于较小的数值,从而降低模型的复杂度。在正则化逻辑回归中,一般不对θ1进行正则化,这是因为θ1对应的是截距项,它影响模型在原点的位置,不参与特征的权重调整。 综上所述,机器学习中的二分类逻辑回归是一种通过构建逻辑回归模型,利用sigmoid函数将线性回归的输出转化为概率值,并通过最小化代价函数求解参数θ的算法。正则化逻辑回归则是在逻辑回归的基础上引入正则化项,避免过拟合问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [吴恩达机器学习逻辑回归(二分类)](https://blog.csdn.net/q642634743/article/details/118831665)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [机器学习笔记——逻辑回归二分类](https://blog.csdn.net/dzc_go/article/details/108855689)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值