机器学习入门（吃瓜第三章(2) 对数几率回归）

最新推荐文章于 2024-09-29 12:53:41 发布

星星子Yocio

最新推荐文章于 2024-09-29 12:53:41 发布

阅读量916

点赞数 9

文章标签：机器学习回归人工智能

本文链接：https://blog.csdn.net/Serena_yocio/article/details/139973046

版权

目的:
对数几率回归用于分类任务，特别是二分类问题。它通过学习输入特征与输出类别之间的关系来预测分类结果。

模型输出:
模型输出的是一个实值，通过对数几率函数（Sigmoid函数）转换为介于0和1之间的概率值，用于判断样本属于某一类的概率。

模型形式：

转换函数:
使用对数几率函数（Sigmoid函数）将模型输出的实值转换为概率值。

对数几率函数:

模型表达式:
通过对数几率函数的逆变换，可以得到对数几率回归的模型表达式：

单位阶跃函数（Heaviside函数）是一个二值函数，将输入值直接划分为0或1，但其非连续性和不可导性限制了在实际应用中的使用。对数几率函数（Sigmoid函数）是其平滑的近似，具有连续性和可导性，有利于模型优化和求解。

直接对分类可能性进行建模，无需假设数据分布。
对数几率回归通过概率的方式直接对分类进行建模，不需要对输入数据的分布进行假设，这使得其适用范围更广。
提供概率预测，适用于需要概率辅助决策的任务。
对数几率回归不仅给出类别预测，还能提供每个类别的概率预测，有助于在需要概率信息的决策场景中应用，如风险评估和医疗诊断。
对数几率函数具有优良的数学性质，便于优化求解。
对数几率函数是连续且可导的，梯度计算方便，利于采用梯度下降法等数值优化算法进行参数估计。