最小二乘，极大似然，交叉熵

最新推荐文章于 2024-02-20 17:53:11 发布
最新推荐文章于 2024-02-20 17:53:11 发布
阅读量170 收藏
点赞数
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/highoooo/article/details/119593794
版权
这篇博客探讨了人工智能模型与人脑模型之间的差距，通过最小二乘法、极大似然估计和交叉熵等概念进行解释。文章指出，这些数学工具用于量化模型的误差和优化，以更接近人脑的决策过程。交叉熵作为衡量信息量和预测准确性的指标，揭示了模型预测的不确定性。此外，KL散度被用来评估模型熵之间的差异，进一步刻画模型的相似性。
摘要由CSDN通过智能技术生成

评估模型与人脑模型的差距

最小二乘：累加错误的数值（平方而不是绝对值是为了方便求导，1/2是为了方便化简）在这里插入图片描述
极大似然估计：x1,x2—xn是人脑模型 W,b是网络模型 求使P最大的W,b（极大似然） P值越大 越与人脑模型接近
在这里插入图片描述
log改连乘为连加 不影响单调性
在这里插入图片描述
改max为min- 求极小值
在这里插入图片描述

交叉熵：
中国1%赢球的信息量6.6 法国99%赢球的信息量0.01
比利时和阿根廷都是1
左边的熵 = 0.5+0.5 =1 右边的熵 =0.01+0.06 = 0.07
在这里插入图片描述
（KL散度、相对熵的定义）用于比较两个模型熵的差距
在这里插入图片描述

highoooo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最小二乘法、最大似然估计、交叉熵、贝叶斯
dongfeng10086的专栏
11-29 1041
备注：对这些的理解主要是在机器学习领域 什么是最小二乘法？ 自己理解的最小二乘法就是各项差值的平方和，(a-x)²+(b-x)²+(c-x)²......，具体可以看下这个资料，介绍的很详细 那问题来了，这个和 MSE 有什么区别？只是一个是平方和，一个是平方和的平均吗？？我看有的同学说，MSE 是加权的最小二乘法。 什么是最大似然估计？ 我们以最经典的抛硬币为例，一般情况是这样，我们知...
交叉熵代价函数（作用及公式推导）
热门推荐
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
最小二乘法，极大似然估计，交叉熵的公式推导
weixin_43726202的博客
03-12 408
最小二乘法，极大似然估计，交叉熵推导公式
逻辑回归为什么使用交叉熵而不用均方差？
最新发布
Java/Python大数据成长之路
02-20 1265
函数）的梯度成正比，当预测值接近于1或0时，梯度会变得非常小，几乎接近于0，这样会导致当真实值与预测值差距很大时，损失函数收敛的很慢，无法进行有效学习，与我们的期望不符合。而信息熵是一个常数，并且在计算的时候，交叉熵相较于KL散度更容易，所以我们直接使用了交叉熵作为损失函数。因此，如果使用均方差损失，训练的时候可能看到的情况是预测值和真实值之间的差距越大，参数调整的越小，训练的越慢。函数的梯度的影响，且真实值与预测值的差越大，损失函数的梯度就越大，更新的速度也就越快，这正是我们想要的。
最小二乘，交叉熵，极大似然，梯度下降，概率分布，凸优化，正则化
qq_42891453的博客
11-05 336
最小二乘，极大似然，交叉熵是三种损失函数，函数里面有很多未知参数，神经网络就是要最小化损失函数，也就是求满足损失函数最小的那些未知参数（比如极大似然估计就是已知观察数据，反去估计概率密度函数中的未知参数），在最小二乘，极大似然，交叉熵这些方法定义出损失函数时，由于未知参数太多，使得单纯利用求导令导数等于零然后去求极值点时间复杂度过高，所通常会用梯度下降法去代替求导令导数等于零的方法去慢慢逼近极值。当这些未知参数有条件限制时，可以转换成条件极值问题，即可以用拉格朗日求极值方法去求解，同样也可以用梯度下降去代替
最小二乘法，极大似然估计，交叉熵
不甘平凡的码农
01-11 456
我们在训练神经网络的时候，其实就是用神经网络中的各种模型去和人脑中的这个模型去匹配，匹配的方式就是调整图像尽量和它重合。我们想用神经网络的模型去逼近人脑中的概率模型，和这个极大似然估计的过程就非常像。左边是人脑模型，右边是神经网络模型，人脑模型我们对猫有一个明显的识别边界，神经网络中总会有些偏差，我们想让神经网络的模型和我们人脑中的模型尽量一致。极大似然估计，本质上就是在计算神经网络里面的概率模型的似然值，找到那个极大似然值，这个就应该是最接近现实情况的那个概率模型。比较两种概率模型的差距的方法。
为什么交叉熵的梯度公式跟最小二乘法一样？
Rover的博客
10-22 323
引言 之前一致不明白，为什么交叉熵损失函数在进行梯度计算的时候的公式跟最小二乘是一致的。抱着这样的疑问，我对交叉熵损失函数进行的偏微分，进行验证。 正文 最小二乘法损失函数 J(θ)=12m∑im(h(xi)−yi)2J(\theta)=\frac{1}{2m}\sum_i^m(h(x^i)-y^i)^2J(θ)=2m1​i∑m​(h(xi)−yi)2 此时h(x)=wx+bh(x)=wx+bh(x)=wx+b，所以 ∂J(θ)∂θj=1m∑im(h(xi)−yi)xji\frac{\partial J(\
【深度学习数学基础】构造损失函数的三类思路：最小二乘法、最大似然估计、交叉熵
糖炒栗子
12-04 263
观测样本集的似然（联合概率）取得最大值时参数的值作为参数估计值的方法称为最大似然估计。观测样本集的似然函数就是样本集的联合概率Lθ;DPD;θ∏i1NPxi;θL(\theta;\theta)Lθ;DPD;θi1∏N​Pxi​;θ最优的θ\thetaθ值是令观测样本发生概率最大的值，也就是令似然函数取得最大。参数θ`\thetaθ的最大似然估计值可以写为θMLarg⁡max⁡θLθ;Darg⁡。
关于最大似然与交叉熵损失函数和最小二乘法的思考
luchi007的专栏
10-07 9541
最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解
最小二乘、极大似然、梯度下降法
Hling's Blog
03-14 6654
百度定义： 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 极大似然估计：它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”
wkaing的专栏
01-24 2012
设计损失函数时，用到的最小二乘法和极大似然估计法，如果误差是正态分布的话，它们是等价的
极大似然估计解决线性回归问题（频率学派）
qq_36013249的博客
05-03 3795
1 前言 线性回归问题中，我们使用LSE最小二乘损失函数；而在逻辑回归问题中，我们不能使用LSE损失函数，应该使用交叉熵损失函数，而交叉熵损失函数是由极大似然估计推导而来，推导过程见LR推导； 本文讲解如何从极大似然估计的角度解决线性回归问题。本文参考自PRML 2 问题定义 给定数据集{x1,x2,...,xm}\{x_1,x_2, ...,x_m\}{x1​,x2​,...,xm...
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”...
Kevin_Carpricron的博客
02-13 758
在吴恩达的课程中提到了两个公式分别是最小二乘法和极大似然估计 \[ \mathscr{L}\left(\hat{y}, y\right) = \frac{1}{2}\left(\hat{y}-y\right)^2 \] \[ \mathscr{L}\left(\hat{y}, y\right) = -\left(y\log\hat{y} + \left(1-y\rig...
梯度下降、牛顿法、极大似然、交叉熵、最小二乘之间的区别和联系
⛄
04-04 545
分类 看到这个问题其实我们首先要把这些算法分一下类： 极大似然、交叉熵、最小二乘是用来计算损失（loss）的 梯度下降、牛顿法是用来优化的 深度学习训练的时候每一轮都会计算输出loss然后根据梯度下降法进行优化 公式 最小二乘法 交叉熵 牛顿法 极大似然 区别 最小二乘法直接使用极值，将极值作为最小值。其假定有二：1，损失函数中极值就是最小值。2，损失函数具有极值。 梯度下降是用迭代的方法求出局部最优解 牛顿法需要求逆，还要求目标函数f(x)二阶可导。 ...
GAN——LSGANs（最小二乘GAN）
CodeTutor
03-07 2万+
LSGANs基本思想 LSGANs的损失函数表达式 模型结构 实验LSGANs基本思想LSGANs的英文全称是Least Squares GANs。这篇文章针对的是标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失，而且这一个改变同时解决了两个缺陷。为什么最小二乘损失可以提高生成图片质量？我们知道，GANs包含两个部分：判别器
两个角度解释为什么逻辑回归（sigmoid, softmax）分类的损失函数用交叉熵而不用最小二乘
JayShaun的博客
07-04 6566
H从梯度消失角度讲从分类和回归任务的区别讲 从梯度消失角度讲 sigmoid:σ(z)=11+e−zsigmoid: \sigma(z) = \frac{1}{1+e^{-z}}sigmoid:σ(z)=1+e−z1​ 如图所示，sigmiod函数在z值很大或很小的时候几乎不变，也就是梯度接近零，如果用最小二乘不会解决这个梯度消失问题，故不选择最小二乘损失。 那为什么交叉熵损失却可以呢？因为-l...
关于神经网络中的代价函数——交叉熵的由来
joy_YuanQL的博客
07-30 1万+
这段时间一直在看有关于神经网络的教程，在之前看过的其他一些机器学习算法，例如logistics回归等都是用C =(y− a)2/2函数做cost function，但是在神经网络算法中，有些教程是使用交叉熵作为代价函数的（关于斯坦福大学的深度学习教程依旧使用的是C =(y− a)2/2函数做cost function），这个让我很郁闷，于是我就问了师兄，然后没有然后。。。没有搞懂。我就在网上找
二次代价函数（最小二乘法）与交叉熵函数的对比（219）
Dontla的博客
09-19 552
参考文章：最小二乘与交叉熵代价函数的区别（作用及公式推导）
最小二乘、ridge、lasso的概率论原理
Catherine_985的博客
12-12 1343
最小二乘、ridge、lasso的概率论原理 https://www.zhihu.com/question/20447622
机器学习入门：极大似然与最小二乘详解
在本篇关于"使用极大似然估计解释最小二乘-机器学习综述"的文章中，作者首先强调了在理解和学习机器学习过程中，高等数学知识的重要性，尽管初看可能觉得复杂，但实际上很多基本概念和方法是相对直观的。文章的核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值