2.20机器学习：交叉熵 信息熵 相对熵

最新推荐文章于 2022-07-15 20:46:29 发布
最新推荐文章于 2022-07-15 20:46:29 发布
阅读量293 收藏
点赞数
分类专栏： 机器学习整理No.1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Captain_DUDU/article/details/104405348
版权

数据分析师->SQL+机器学习算法理论
算法工程师->LeetCode刷题+机器学习理论
数据挖掘方向->SQL+集群操作+机器学习理论

01信息熵

在这里插入图片描述

02单位bit 默认2 为底

在这里插入图片描述

03联合熵

在这里插入图片描述

pX
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

交叉熵的计算

在这里插入图片描述
在这里插入图片描述
二类损失

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Captain_Data
关注
专栏目录
机器学习中使用的交叉熵（cross entropy）透彻分析
m0_37957160的博客
06-05 1190
从字面分析交叉熵，1是交叉、2是熵（熵与信息量有关）；首先交叉熵涉及信息论里面的东西，想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解。 （1）信息量 衡量信息量可以用大小或者多少来形容，就是你传达的信息能别人带来多大的价值感吧，首先我说明天会下雨，这句话的信息量有多少呢？（我也不知道啊，哈哈）但是你说中国疫情现在已经结束了；mei国疫情也已经结束了。显然仅凭直觉，我们可以看出你要传达的第二句话比第一句话的信息量要大，因为中国的疫情我们大家很显然知道已经结束了，这句话发生概率几乎为1，
机器学习强基计划2-1：一文总结熵——交叉熵、相对熵、互信息(附例题分析)
FRIGIDWINTER的博客
08-29 1913
本文从宇宙演化的终极定律熵增定律出发，讲解什么是熵？熵与机器学习的关系——最大熵原理，并引出相对熵、交叉熵、条件熵、互信息等常见概念
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
热门推荐
史丹利复合田的博客
01-25 25万+
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。
机器学习_交叉熵
yeldon的博客
10-12 841
1. 引言 我们都知道损失函数有很多种：均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy）。这几天看论文的时候产生了疑问：为啥损失函数很多用的都是交叉熵（cross entropy）？其背后深层的含义是什么？如果换做均方误差（MSE）会怎么样？下面我们一步步来揭开交叉熵的神秘面纱。 2. 交叉熵的来源 2.1 信息量 一条信息的信息量大小和它的不确定性有很大的关系。一句话如果需要很多外部信息才能确定，我们就称这句话的信息量比较大。比如你听到“云南西双版
机器学习中的交叉熵
Q_M_X_D_D_的博客
10-13 795
信息量 熵在信息学中的概念就是一个系统“内在的混乱程度”，也可以理解为系统中所含的信息量大小。比如说一句话：“杨倩在东京奥运会中夺得了金牌”，如果在东京奥运会之前说这句话，那么这句话包含的信息量就很大，因为在赛前杨倩能不能拿金牌是一件非常不确定的事；但是当奥运会结束后，这句话包含的信息量就非常小了，因为杨倩已经确定拿了金牌。所以信息量也可以定义为：事件又不确定变为确定的困难程度。假设将信息量定义为：f(x) := 信息量 ...
相对熵、信息熵和交叉熵
咕噜咕噜
08-18 325
what： 交叉熵是信息论的重要概念；用于度量两个概率分布之间的差异性； 其他相关知识： 信息量： 信息是用来消除随机不确定的东西； 信息量的大小与信息发生的概率成反比； I(x)=−log(P(x))， p(x)表示某一事件发生的概率，log表示自然对数 举例： 信息量为0：“太阳从东边升起” 信息量极大：”2018年中国队成功进入世界杯“ 信息熵： 信息熵也叫熵，是用来表示所有信息量的期望； 期望是每次试验结果的概率 乘以 结果的总和，因此公式如下： 举例：..
机器学习中交叉熵和相对熵的关系
nyz5211314的博客
06-22 342
机器学习中交叉熵和相对熵的关系 首先需要了解几个概念 自信息： 描述单个事件的不确定性  I (x)=−log⁡[p(x)]\text { I }(x)=-\log [\boldsymbol{p}(\boldsymbol{x})] I (x)=−log[p(x)] 信息熵：描述整个事件的不确定性，事件越不确定，熵也就越大。即对自信息在事件上的概率分布求期望  H(P) =Ex∼p[I(x)]=−∑iNP(xi)log⁡P(xi)\text { H(
信息熵、相对熵、交叉熵总结
leemusk的博客
07-21 591
1、什么是信息熵 信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为： H(P)=−∑P(X)logP(X) H(P) = -\sum P(X) logP(X) H(P)=−∑P(X)logP(X) 2. 什么是相对熵 相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计
交叉熵、熵和相对熵的通俗易懂解释
weepon的博客
07-06 7651
交叉熵（Cross-Entropy） 交叉熵是一个在机器学习领域经常提到的概念。它经常用作代价(损失)函数，而均方误差或平均绝对误差在使用梯度优化的方法时往往效果不佳，一些饱和的神经网络输出单元结合这些代价函数时会产生非常小的梯度，这也是交叉熵代价函数比均方误差或平均绝对误差更受欢迎的原因。在学习交叉熵之前，我们先来了解下其他的基础概念： 1.什么是自信息(self-information)？...
机器学习——交叉熵python实现
09-10
机器学习——交叉熵python实现，基于TensorFlow，一般在机器学习做loss评估。
交叉熵在机器学习中的使用
Liz1111的博客
07-29 202
交叉熵在机器学习中的使用 1、信息量 概率越小，信息量越大，事件\(X=x_0\)的信息量为： \[I(x_0)=-log(p(x_0))\] 2、熵 熵表示所有信息量的期望： \[H(x)=-\sum_{i=1}^n p(x_i)log(p(x_i))\] 其中n代表事件X有n种可能 3、相对熵（KL散度） \[D_{KL}(p||q)=\sum_{i=1}^np(x_i)log(\f...
机器学习——交叉熵
qq_45802081的博客
03-30 86
学习记录： 学习链接-1 学习链接2
机器学习-交叉熵
qq_25799253的博客
02-20 366
信息熵可以理解为是对“不确定性”的量度，而非对“确定性”的量度，熵大，信息量多，即不确定性很大。某件事概率越大，不确定性越小，所以熵是关于概率的单调递减函数（“信息熵”的百度百科） ...
交叉熵-机器学习
迪迦 • 奥特曼
03-03 250
在介绍交叉熵损失函数之前， 我们首先来介绍信息学中熵(Entropy)的概念。 1948 年，Claude Shannon 将热力学中熵的概念引入到信息论中， 用来衡量信息的不确定度。 熵在信息学科中也叫信息熵，或者香农熵。 熵越大，代表不确定性越大，信息量也就越大。 某个分布 P(i)P(i)P(i) 的熵定义为 H(P)=−∑p(i)log2P(i) H(P) = -\sum p(i)log_2P(i) H(P)=−∑p(i)log2​P(i) 实际上， H(P)H(P)H(P)也可以使用其他底数的lo
机器学习 - 交叉熵Cross Entropy
长风破浪会有时，直挂云帆济沧海
04-13 9120
机器学习 - 交叉熵Cross Entropy 1. 二值交叉熵 Binary Cross Entropy 假设训练数据 D={(x1,y1),(x2,y2),...,(xn,yn)}D={(x1,y1),(x2,y2),...,(xn,yn)}D = \{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\} , 其中 x∈Rnx∈Rnx \in R^n ...
机器学习：交叉熵从理论到代码
Hanze的博客
07-15 634
交叉熵
一文了解机器学习中的交叉熵
喜欢打酱油的老鸟
02-06 2595
https://www.toutiao.com/a6654435108105224712/   2019-02-05 16:46:49 熵 在介绍交叉熵之前首先介绍熵（entropy）的概念。熵是信息论中最基本、最核心的一个概念，它衡量了一个概率分布的随机程度，或者说包含的信息量的大小。 首先来看离散型随机变量。考虑随机变量取某一个特定值时包含的信息量的大小。假设随机变量取值为x，对应的...
机器学习损失函数---交叉熵（衡量相似性）
bufengzj的博客
07-01 4906
1.交叉熵是啥？交叉熵的由来？ 【转载自：https://blog.csdn.net/ccj_ok/article/details/78066619】 熵的本质是香农信息量()的期望。 现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。如果使用错误分布q来表示来...
机器学习基础：信息熵与硬币抛掷
在机器学习领域，信息熵是一个核心概念，尤其是在决策树构建、熵编码和数据压缩等方面。机器学习是计算机科学的一个分支，其目标是让计算机通过从数据中学习规律，从而实现自我改进和性能提升。这一过程可以被视为一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Captain_Data

打赏一下~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值