机器学习—交叉熵代价函数—极大似然估计推导

最新推荐文章于 2023-09-20 19:18:49 发布
最新推荐文章于 2023-09-20 19:18:49 发布
阅读量2.3k 收藏 4
点赞数 2
分类专栏： 机器学习 文章标签： 极大似然估计 交叉熵代价函数 逻辑回归代价函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45252110/article/details/98965782
版权

一、极大似然估计

首先得知道什么是极大似然估计

吴恩达老师在公开课直接给出交叉熵代价函数并简单解释了交叉熵代价函数作为逻辑回归代价函数的合理性，在周志华老师的《机器学习》教材中，从极大似然估计角度详细证明了交叉熵代价函数的推导。

二、逻辑回归模型

周志华老师从模型开始详细的介绍了逻辑回归的由来与其实质。
在这里插入图片描述
加入Sigmoid函数后得出
在这里插入图片描述
而在经过进一步的计算y=0和y=1时的概率
在这里插入图片描述
最终某样本属于正例的概率可以表示为
在这里插入图片描述
某样本属于负例的概率可以表示为
在这里插入图片描述
将w·x视为Sigmoid函数的输入，其中w是模型参数，x是特征向量，将Sigmoid函数的输出视为预测为正例的概率。

那模型将样本预测为正例的概率为sigmod(w·x)；将样本预测为负例概率为1- sigmod(w·x)。

三、极大化目标

极大化 => 将所有正例预测为正例的概率的累乘 * 将所有负例预测为负例的概率的累乘
在这里插入图片描述
而在计算机中通常求最小化问题，对上述公式运用对数法则对数似然并转换为求解最小化问题得出交叉熵代价函数：
在这里插入图片描述

四、使用极大似然估计构建逻辑回归代价函数另一种写法

在这里插入图片描述

五、最大似然估计和最小代价函数两种方式推导逻辑回归

大佬链接：
最大似然估计和最小代价函数两种方式推导逻辑回归

等不到烟火清凉
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能基础_机器学习041_Sigmoid函数详解_Sigmoid损失函数推导_最大似然函数推导---人工智能工作笔记0081
添柴程序猿的专栏
11-17 393
可以看到,把两个公式河道一起就得到了下面的概率公式. 这里是有关概率论中的一些东西,如果想很清楚需要学习一下,但是不影响我们使用.我们可以在前面加个负号,来把,求最大总似然,改成求损失函数的最小值,其实就是把似然函数,转换成了损失函数.连加,也就是通过对数,把连乘转换城连加,可以看到,求对数就是求ln,把指数拿下来,然后上面的似然函数是连乘的方式,那么,连乘的计算非常困难,所以我们可以转换为。可以看到这个就是我们通过,对逻辑回归表达式的似然函数,加负号,变成求。因为似然函数的值最大,那么概率就越大。
最大似然损失与最小化交叉熵损失的异曲同工之妙
徐先森的博客
05-07 2859
一、逻辑回归与softmax回归 在逻辑回归问题中，我们使用sigmoid函数将线性模型的连续值映射到0~1的区间上，设置一定的阈值（二分类问题，大于阈值设置为1，小于阈值设置为0），从而得到某个类别的概率。如果将这个问题泛化，推广到多分类问题上（如图片的多分类），我们可以使用softmax函数将其输出单元从一个变成多个。 1.sigmoid函数 sigmoid函数是个很漂亮的S形，其作用可...
人工智能与机器学习之实验1：交叉熵损失函数（对数似然损失函数）
最新发布
03-08
人工智能与机器学习之实验1：交叉熵损失函数（对数似然损失函数）
统计学知识6：逻辑回归的极大似然求解（梯度下降实现）
乐想屋
11-19 3576
逻辑回归的极大似然推导：由于似然函数是样本的函数，需要知道其分布，并且假设相互独立。上述公式就推导出梯度下降更新的方向梯度更新的方法：逻辑回归编程实现（按步骤手工编程）假设我们有一个数据，共有100个样本，含两个x变量，x1、x2，一个目标变量y。数据如下：我们的目标是求出参数θ0、θ1、θ2。步骤1：定义sigmoid函数logistic转化成预测概率。步骤2：定义线性回归函数z的表达式步骤3：
Logistic回归和Sigmoid函数分类中的最大似然估计
Flying_sfeng的博客
03-26 3683
在讲Logistic回归前，先具体说明一下什么是最大似然估计，可以参考最大似然估计学习总结------MadTurtle 梯度上升算法的代码如下： def sigmoid(inX): return 1.0/(1+exp(-inX)) def gradAscent(dataMatIn, classLabels): dataMatrix = mat(dataMatIn)
机器学习中最小二乘法和逻辑斯蒂回归最大似然估计最小二乘法
皮皮猪的博客
04-10 1572
最小二乘法 在构建线性回归模型时，我们通过最小二乘法获得均方误差（损失函数），我们需要得到均方误差的最小值，从而真实值与假设值的差异也是最小的，所以可以得到最合适的回归系数W。 ...
机器学习之三：逻辑回归
weixin_41310804的博客
12-11 248
逻辑回归实际上是应用回归思想的分类算法。 先来看比较一般的线性回归，假设第 i 条数据有 n 个特征，我们用来预测的参数是，那么根据这 n 个特征我们对该数据的预测值为. 但是这样的线性回归预测出来的值是连续的，而分类算法中预测值必然是离散的。特别的，对于二分类问题，预测值是0或1. 因此我们就需要一个方法将预测值压缩到（0，1）之间。 逻辑回归使用sigmoid函数将预测值压缩到（0，1）之间，其形式是，其函数图像如下。 由图像可知，该函数关于y轴对称，且x趋近于正无穷时，y趋近于1；x趋近于负
逻辑回归：极大似然估计推导二分类的交叉熵损失函数
weixin_44055664的博客
08-03 589
σz11e−zσz1e−z1​其中，zzzzβ0β1x1β2x2βnxnzβ0​β1​x1​β2​x2​βn​xn​β0β1β2βnβ0​β1​β2​βn​是模型的参数，x1x2xnx1​x2​xn​是输入特征。逻辑函数的输出σzσ(z)σz表示输入样本属于正例的概率，而1−σz1−σ(z)1−σz。
机器学习中的玻尔兹曼分布——最小代价和极大似然
tomheaven的专栏
03-14 1万+
看了一些机器学习的论文，我一直有一个困惑：有的文章训练时写的公式是最小化代价函数，有的文章训练时写的是一个跟自然对数有关的概率分布，这是为什么？经过一番学习，终于有了答案。在这个过程中，还有一个意外收获：那就是著名的逻辑斯第函数的由来。 物理上和统计上的玻尔兹曼分布 热平衡在物理学领域通常指温度在时间或空间上的稳定。在统计学习中，如果我们将需要学习的模型看成高温物体，将学习的过程看成一个降
最大化似然估计，交叉熵
weixin_42668508的博客
12-13 398
最大似然估计，交叉熵
山东大学机器学习实验报告 极大似然估计、贝叶斯参数估计
04-16
山东大学计算机科学与技术学院机器学习课程的实验报告
机器学习之目标函数推导视频教程
02-22
主要是视频讲解目标函数的推导过程。送给想要入门机器学习的学子们
机器学习之似然函数求解视频教程
02-22
内容设计似然函数的数学知识。
机器学习系列（三）——目标函数和损失函数
01-06
目标函数4.1 为什么要使用目标函数4.2 目标函数的作用原理4.3 为什么目标函数是负的4.4 常见的目标函数4.4.1 **二次代价函数（quadratic cost）**：4.4.2 **交叉熵代价函数（cross-entropy）**：4.4.3**对数似然代价...
[(机器学习)概率统计]极大似然估计MLE原理+python实现
热门推荐
PJZero
05-05 2万+
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
逻辑回归算法理解（包含损失函数求导过程详细推导）
chenjunheaixuexi的博客
05-31 1343
本文目录一、Sigmoid函数基本信息特点二、逻辑回归函数基本函数极大似然估计目标函数参数优化   逻辑回归模型是应用较为广泛的一个模型，其可以看做是在线性回归的基础上，对结果又加了SigmoidSigmoidSigmoid函数，然后通过设定的分类阈值，来解决二分类问题（即如果结果大于或小于分类阈值）。 一、Sigmoid函数 基本信息 其函数表达式为:y(x)=11+e−xy(x)=\frac{1}{1+e^{-x}}y(x)=1+e−x1​ 其图像如下： 特点 通过图像我们可以看出，Sigmoid函数
机器学习中的极大似然估计
平凡之路
07-17 585
最大似然估计（MLE） 考虑一组含有mmm个样本的数据集X={x(1),...,x(m)}\mathbb{X}=\{x^{(1)}, ..., x^{(m)}\}X={x(1),...,x(m)},独立的由未知的真实数据生成分布pdata(x)p_{data}(\mathbf{x})pdata​(x)生成。 令pmodel(x;θ)p_{model}(\mathbf{x;\theta)}pmodel​(x;θ)是一族由θ\thetaθ确定在相同空间上的概率分布。pmodel(x;θ)p_{model}(\m
机器学习入门教学——损失函数（极大似然估计法）
计算机硕士的博客
09-20 322
机器学习入门教学——损失函数（极大似然估计法）的简单概述。
逻辑回归 — Sigmoid函数 —预测是否出现过交通事故
m0_37657725的博客
08-07 8275
目录 1. 数据的种类 2. Sigmoid函数 3. 案列 ：预测是否会发送交通事故 4. 总结 逻辑回归模型是离散数据（二次分布） 1. 数据的种类 连续性数据：给定一个区间，可以取区间内任意一实数——工资（连续） 离散型数据：给定一个区间，只能取区间有限的实数值——性别（男女） 正太线性模型（基于正太分布，连续分布），只能对连续性数据响应，不能对离散的数据响应。 2. S...
极大似然估计推导交叉熵
08-18
总结起来，极大似然估计和交叉熵之间的推导过程是将观测数据的联合概率转换为对数似然函数，再通过最小化相反数的平均值得到交叉熵损失函数。交叉熵损失函数在训练机器学习模型中被广泛使用，特别是在分类问题中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值