二维正态分布的最大似然估计_交叉熵与最大似然估计

最新推荐文章于 2024-05-27 14:57:21 发布
最新推荐文章于 2024-05-27 14:57:21 发布
阅读量854 收藏
点赞数
文章标签： 二维正态分布的最大似然估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42651748/article/details/112159803
版权
本文介绍了交叉熵损失函数在神经网络中的作用，旨在使网络输出代表类别概率。讨论了二维正态分布的最大似然估计，通过构建似然函数求解最优参数。同时，文章简要提到了神经网络的层级结构和最大似然估计的基本思想。
摘要由CSDN通过智能技术生成

先来看看什么是交叉熵损失函数。考虑在一个含有

个类别的图像分类数据集上面训练神经网络，使用常规的batch SGD训练，记一次迭代（iter）后神经网络的输出向量为
，则
的维度为
，
的维度为
，代表第i张图片分别属于各类的置信度分；真实的训练标签
向量可以表示为
，其中
为
范围的整数，代表第i张图片的真实类别。

我们希望神经网络的输出向量能够代表图片属于各类别的概率，但此时的

显然有正有负，所以需要先进行一步
softmax操作，使
的各个分量都变成正的（其实就相当于做了一次指数归一化）：

经过softmax后，交叉熵损失可以表示为如下公式，其中第二个等号用到了python语法的特性，可以暂时不管：


上面的定义可能有点懵，下面我再详细解释一下。我们现在来看看
到底是个什么东西。


一层一层拆开来看，首先是

，这个显然是第i张图片的真实标签。那么
又是什么？
是一个长度为
的向量，
代表神经网络认为将第
张图片属于第
类的概率，再进一步，
就是
神经网络将第i张图片分类正确的概率了。此时还是不明白
究竟是什么。


现在换一种方式，记

，那么根据上面的讨论，
代表
这张图片分类正确的概率。
就代表了神经网络将一个批次上的所有batchsize张图片全部分类正确的概率， 而我们训练神经网络的目的就是为了使这个式子的结果接近1！


回想一下极大似然估计在做什么事情：求出一组参数

使得似然函数最大。现在神经网络的训练就是在做这件事，只不过有一点不同的是，神经网络使用迭代法（如SGD，Adam）求解似然函数极值，而概率论课本中通常直接求导得极值点。

构造似然函数为

，再将
代入，最后得到了上面的公式：


至于为什么少了个负号，这是由于神经网络训练中一般规定寻找最小值。因此最后 对似然函数取负号后就得到了交叉熵损失函数。

欢迎访问我的博客https://07hyx06.github.io/cv_content.html 目前正在搭建，功能还在完善:)

Jon Sco
关注
透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
捡起一束光的博客
12-27 3509
在机器学习中，我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE)，本文将带你好好理解这个概念。极大似然估计的依据：概率最大的事件最有可能发生，或者说真实发生的事情总是概率最大的...
VAE 自编码器模型简介：学习高维数据的分布，并将其映射到一个低维空间 Variational Autoencoders Explained
AI天才研究院
08-05 1014
Variational autoencoder（VAE）是一种自编码器模型，它可以用来学习高维数据的分布，并将其映射到一个低维空间。这是因为VAE可以捕获输入数据中的所有不确定性，并且可以使用生成模型进行后续预测或重建。VAE的本质是通过找到一种有效的方式来学习高维数据空间的概率分布，从而使得潜在变量能够代表原始数据的某种隐含模式。这种隐含模式可能包含一些重要的特征或者结构信息。VAE使用了变分推断方法，使得潜在变量能够生成新的数据样本，并且能够很好地拟合输入数据上的分布。
二维正态分布的最大似然估计_最大似然法估计正态分布参数
weixin_39632327的博客
12-19 7264
刚学习完似然值和概率的联系与区别，今天我们深入了解似然值在统计中的重要作用。1. 最大似然估计定义最大似然估计(maximum likelihood)就是利用已知的样本结果，反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。逻辑：结果 → 产生结果的条件环境条件换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。当模型满足某个分布...
二维正态分布的最大似然估计_最大似然估计-高斯分布
weixin_33488806的博客
02-05 2885
前言：介绍了最简单的问题(这里都是玩具数据，为了方便理解才列出)0123456789101112X12344.24.44.64.85678y000011110000假设 x = 4.9 用科学的办法估计 y 的分类。预备知识高斯分布的概率密度函数高斯分布的概率密度函数理解通常用「概率密度函数」代替概率，仅仅去比较大小。还有其他的分布，我也没有去深挖 :)。而不是直接求出概率。这非常重要！！！求解问...
python 累积正态分布函数_机器学习系列（二）多元正态分布
weixin_42501892的博客
01-01 3787
一元正态分布回顾如果随机变量 服从均值为 方差为 的正态分布 (Univariate normal distribution)， ，则其概率密度函数为： 整个分布可以仅用均值及方差来刻画 如果变量之间不相关，则它们相互独立 经典统计检验通常基于正态分布假设 正态分布可以模拟大量自然现象多元正态分布多元正态分布密度函数类比于一元情况，若 维随机变量 服从均值向量为 和协方差矩阵为 ...
正态分布下的最大似然估计_正态分布的最大似然估计_
09-30
以简单的举例来实现正态分布下的最大似然估计，并绘图进行对比
正态分布的最大似然估计
热门推荐
zfoox的摘记
06-24 3万+
给定数据集D={x1, x2, ... , xn}，假设都服从均值为mean（假设未知），方差为var的高斯分布（假设已知），则参数θ为均值mean. p(D|θ) = ∏ p(xi|θ) = p(x1|θ)p(x2|θ)...p(xn|θ) 最大似然估计（MLE）： MLE过程： （1）假设真实高斯分布的均值为20，方差为18 （2）根据该概率分布抽取100个
正态分布数据的极大似然估计MATLAB实现
05-28
样本数据的类条件概率密度符合正态分布，对训练样本进行极大似然估计得到参数，再对测试样本进行分类。
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”
wkaing的专栏
01-24 2058
设计损失函数时，用到的最小二乘法和极大似然估计法，如果误差是正态分布的话，它们是等价的
“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”...
Kevin_Carpricron的博客
02-13 787
在吴恩达的课程中提到了两个公式分别是最小二乘法和极大似然估计 \[ \mathscr{L}\left(\hat{y}, y\right) = \frac{1}{2}\left(\hat{y}-y\right)^2 \] \[ \mathscr{L}\left(\hat{y}, y\right) = -\left(y\log\hat{y} + \left(1-y\rig...
利用对比学习进行入侵检测的AOC-IDS_ Autonomous Online Framework with Contrastive Learning for Intrusion Detection
最新发布
风口IT猪的成长录
05-27 123
之前的研究主要集中在（IDS），它采用离线训练来保护物联网系统。然而，这种静态 IDS 很难应对现实场景，在现实场景中，，因此需要动态且适应性强的 IDS。为了应对这一挑战，我们提出了 AOC-IDS，这是一种新型在线 IDS，具有自主异常检测模块（ADM）和用于持续适应的免人工在线框架。为了，ADM 采用自动编码器 (AE) 和定制的簇排斥对比 (CRC) 损失函数，从在线环境中的有限或增量输入数据生成独特的表示。
正态分布的极大似然估计
一个搬运知识的笨小孩
02-28 2万+
1. 正态分布的极大似然估计 笔记来源：Maximum Likelihood For the Normal Distribution, step-by-step!!! 1.1 正态分布的参数对其形状的影响 1.1.1 μ值对正态分布的影响 1.1.2 σ值对正态分布的影响 1.2 极大似然估计 极大似然估计提供了一种给定观察数据来评估模型参数的方法【引用自：一文搞懂极大似然估计】 P(所求 | 已知)、L(所求 | 已知) 概率是已知模型和参数，推数据 P(x∣μ,σ)P(x|\mu,\sigma)P(
多维正态分布的极大似然估计
weixin_43845922的博客
10-19 960
多维正态分布的MLE---ML作业4
补数学基础之高斯分布——极大似然估计
Pioo_的博客
01-21 1864
高斯分布 就是我们常说的正态分布，也叫常态分布，名字有很多~~后面统一叫高斯分布。 图形非常的常见~ 最简单的，人类的身高分布，学习成绩这种，基本都服从于高斯分布。 一维高斯分布： 若随机变量X服从一个位置参数为μ 、尺度参数为σ的概率分布的概率密度函数如下： μ ——均值 σ——标准差 则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作X~N(μ，σ2) ，读作X服从N(μ，σ2) ，或X服从高斯分布。 高斯分布先到这里，公式推导详情回去看概率论课本。 极大似然估计 第一次
高斯混合模型（GMM）与最大期望（EM）算法学习笔记
Konata的博客
03-29 1903
下面内容是我在学习过程中对资料的一个个人总结，如有错误还希望指出 Gaussian Mixture Model (GMM)。 GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 clu...
最大似然估计、n阶矩、协方差（矩阵）、（多元）高斯分布 学习摘要
weixin_30768661的博客
08-15 2572
最大似然估计 似然与概率 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）和概率（Probability）是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为...
二维 均值方差高斯分布图 python_PRML笔记 第二章 (多维)高斯分布
weixin_39930276的博客
11-20 1424
2.3 高斯分布高斯分布，也叫正态分布，是广泛应用在连续性变量中的分布。它的形式是 而高维（多变量）正态分布的形式是 其中Σ表示协方差矩阵不论是单变量还是多变量的情况，正态分布均为使熵最大的分布满足一定条件时，一系列随机变量的和的分布将随着随机变量数目的增多趋近于正态分布（中心极限定理）（实际情况中这种趋势非常迅速）想学好正态分布（尤其是多元）得对矩阵操作非常熟悉（说明线性代数是多么重要），不过...
AI大语音（六）——混合高斯模型（GMM）（深度解析）
aibigtruth的博客
08-25 8551
1 GMM基础 高斯混合模型（GMM）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。 灵魂的拷问：为什么GMM可以拟合出任意类型的分布？ AI大语音：不仅GMM可以，只要性质不太奇怪的混合模型一般都能近似任意分布。这个思想和泰勒展开、傅里叶变换是类似的，任何波形都可以用正弦波叠加表示，而且频率还是基频的整数倍。 利用高斯混合模型进行聚类，本质上可以这么理解： 数据的分布由若干高斯分布组合而成，需要通过传入的无标记.
Python实现极大似然估计
XerCis的博客
03-23 2万+
调用scipy.stats.norm.fit()
二维正态分布的mle最大似然估计求法
11-05
二维正态分布是指具有两个连续随机变量的正态分布。假设有一组二维正态分布的观测数据{(x1,y1),(x2,y2),...,(xn,yn)}，我们需要通过MLE（最大似然估计）方法来估计其参数。 二维正态分布的概率密度函数为： f(x,y) = (1 / (2πσxσy√(1-ρ^2)) * exp(-(1 / (2(1-ρ^2))) * ((x-μx)^2/σx^2 + (y-μy)^2/σy^2 - (2ρ(x-μx)(y-μy))/(σxσy)))) 其中，μx和μy是分布的均值，σx和σy是分布的标准差，ρ是相关系数。 MLE的思想是找到一组参数值，使得给定观测数据的似然函数取得最大值。对于二维正态分布，我们需要寻找最大化的参数为(μx, μy, σx, σy, ρ)。 首先，设定似然函数L(μx, μy, σx, σy, ρ) = ∏[f(xi, yi)]，即所有观测数据的联合概率密度。 接下来，将似然函数取对数，得到： ln(L(μx, μy, σx, σy, ρ)) = Σ[ln(f(xi, yi))] 然后，将似然函数对参数进行求导，并令导数为0，解得参数的估计值。 最后，将估计值代入二维正态分布的概率密度函数，即可得到最大似然估计结果。 需要注意的是，由于似然函数通常为非线性函数，求解过程可能较为复杂，可以利用数值优化方法来求得近似最优解。 这是二维正态分布的MLE最大似然估计的求解方法。通过最大化似然函数，我们可以估计出二维正态分布的参数，从而对其进行建模和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值