machine learning学习笔记（一）：信息熵，条件熵，交叉熵，KL散度，互信息

最新推荐文章于 2024-09-12 11:45:40 发布
最新推荐文章于 2024-09-12 11:45:40 发布
阅读量930 收藏 4
点赞数
分类专栏： 机器学习 文章标签： 机器学习 信息熵 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37754282/article/details/108710306
版权
本文介绍了机器学习中的信息熵、条件熵、交叉熵、KL散度和互信息等核心概念。从琴生不等式出发，深入探讨了信息熵的性质，包括其作为不确定性度量的含义，以及信息熵与log函数的关系。接着讲解了条件熵，描述了在已知条件下的不确定性变化，并分析了KL散度作为衡量概率分布差异的工具，以及它与交叉熵的密切联系。最后，阐述了互信息的概念，它是衡量两个变量之间相互依赖性的度量。
摘要由CSDN通过智能技术生成

一、琴生不等式 Jensen


由数学归纳法证明在这里插入图片描述

二、对损失函数 Logarithmic function

在这里插入图片描述

三、entropy 信息熵

信息熵代表x的不确定程度/混乱程度

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200921223003329.png#pic_cente
log底数一般为2.信息熵代表着X不确定程度。

例子

在这里插入图片描述
假设X是服从二分的，那么P(X)的概率越接近0.5，x就越不确定。比如箱子里有白球、红球两种

最低0.47元/天 解锁文章
损失函数
ningchewinbell的博客
07-05 889
4.2.1 经典损失函数 1. 交叉熵（给定两个概率分布p和q） H(p,q)=−∑xp(x)logq(x) cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0))) #其中y代表正确结果，y_代表预测结果 分别解释上述程序的四个运算 1. tf.clip_by_value：将一个张量的数值限定在一...
一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理系列）
繁凡さん的博客
02-10 2083
绝对通俗易懂！一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义，看不懂你来打我 ~
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 12万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
infoNCE损失和互信息的关系
最新发布
weixin_43845922的博客
09-12 830
都是从数据中采样得到的。但在推导互信息时，我们通常计算的是所有可能的样本对上的平均值，而不仅仅是单一的样本对。因此，将相似度函数视为联合概率对数的依据源于能量基模型的思想，即通过能量（或相似度）函数衡量样本间的匹配程度，然后使用指数函数将其转换为概率分布。通过 InfoNCE 损失对正样本对进行优化，本质上就是在最大化这些正样本对的互信息，因此引入期望是为了与互信息的定义保持一致。因此，InfoNCE 损失通过最大化正样本对的联合概率和最小化负样本对的边缘概率，从而实现对正样本和负样本之间互信息的优化。
机器学习--- 交叉熵损失(CrossEntropy Loss)--(附代码)
在人工智能的道路上爬行
05-08 1万+
文章目录
若数学中的log没有指出底数,那是否其底数默认为10？比如logN等价于log(10)N？
nyist_yangguang的博客
11-27 2万+
答： 是的，一般是这样，logN又记作lgN,省略底数的有： 1.以10为底数，记作lgx 2.以e为底数，记作lnx
信息熵
zxyhhjs2017的博客
06-05 1293
一.为什么使用log函数表示不确定性： 1.不确定性函数f是概率P的减函数； 2.两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即 。 二.信息熵的公式： H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2...
机器学习笔记之Sigmoid信念网络(三)KL散度角度观察醒眠算法
静静的学习就好
12-30 624
上一节介绍了MCMC以及平均场理论变分推断方法的弊端并介绍了醒眠算法(Weak-Sleep Algorithm)。本节将介绍从KL散度(KL Divergence)角度观察醒眠算法的两个迭代步骤。
Machine Learning——A Probabilistic Approach学习笔记 第二章 概率（总结版）
ldc1513的博客
08-04 615
2.1引言 本书采用贝叶斯解释（概率是我们对事件的发生可能的预期） 2.2基本概念 离散随机变量： 概率：p(A) 条件概率：p(A|B) 联合概率：p(A,B) 乘法原理：p(A,B)=p(A|B)p(B) 加法原理： 贝叶斯法则： 无条件独立： 条件独立： 连续随机变量： 累积分布函数，cdf：，性质：单调递增，反函数存在，小于1 概率密度函数，pdf：，性质：非负，可大于1，积分为1 重要数据： 均值： 方差： 2.3常见离散分布 二项分布，多项分布，伯努利分...
Deep Reinforcement Learning : An Overview(Yuxi Li) 学习笔记
weixin_44412076的博客
03-14 3768
翻译的比较粗糙，仅供参考。 2.2 Deep Learning 深度学习与浅层学习形成对比。对于许多机器学习算法，如线性回归、逻辑回归、支持向量机(SVMs)、决策树和增强等，我们有输入层和输出层，在训练前可以用人工特征工程对输入进行转换。在深度学习中，在输入层和输出层之间有一个或多个隐藏层。在除输入层外的每一层，我们计算每个单元的输入，作为上一层单元的加权和;然后，我们通常使用非线性变换，或...
在机器学习中应用数学方法
谢彦的技术博客
06-28 1029
我们从初中就开始学习指数和对数，但即使是程序员平时也很少用到这些方法。本篇就来看看如何使用它们解决具体问题。 指数 在多分类问题中，一般在最后一步使用Softmax，将数值转换成属于各个类别的概率，比如根据输入物品图片，通过一系列处理，判别它是衣服、鞋子、帽子各类别的概率。具体公式如下： 其中i为某一类别，j用于遍历所有可能的类别，Si计算的是某一类别的概率，即某一类别在所有类别中的占比。其中用到了自然指数e。e的图型如下： 首先，e指数是单调上升的，也就是说x越大y越大，变换之后的大小关系
自然语言处理PPT笔记-NLP数学基础
qq_41818806的博客
05-29 4106
来自 刘秉权 教授的 自然语言处理概述 尽管这个PPT有些老了，但是还是挺全面的。听说挺有用，就做了一些笔记。原课件参考：点击打开链接内容层的信息处理计算机能够理解人的语言吗？结构主义：追求机器的理解机制和人相同。  问题：人类尚不清楚自身理解语言的机制。功能主义：机器的表现与人相同即可。  图灵测试：如果通过自然语言的问答，一个人无法识别和他对话的是人还是机器，那么就应该承认机器具有智能。  如...
熵值法原理及python实现 附指标编制案例
侯小啾技术博客
02-02 1万+
熵值法也称熵权法，是学术研究，及实际应用中的一种常用且有效的编制指标的方法。
交叉熵损失函数
hipo的博客
08-11 1767
之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 交叉熵简介 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉熵，需要先了解下面几个概念。 信息量 信息奠基人香农（Shannon）认为
【深度学习】损失函数详解
LogosTR_的博客
08-16 1万+
损失函数
数字识别之---介绍损失函数
与其在风雨中逃避，不如在雷电中舞蹈
05-20 1170
基于数字识别介绍损失函数
【Loss】深入理解损失函数logloss
凝眸伏笔的博客
05-21 7799
思考：当我们习惯性的使用封装好的深度学习框架时，是否想过探寻他们调用函数背后的意义，也就是他的实现逻辑？如果封装不公开源码，那你是否留意过调用函数时，输入的参数？今天来看看，一个比较容易忽略的点：损失函数。不知道为何，想到损失函数的时候，脑子里出现了Sigmod函数的输出，某个灵感一闪而过，缺没有抓住。回去巴拉巴拉网络结构，发现：论文中没注意损失函数形式，网络搭建时，也没有特别留意损失函数的设置，粗心真的可怕.. loss(name='logloss', loss_type='logistic', in
信息熵，相对熵，交叉熵，KL散度，JS散度
思维缜密的博客
08-25 322
信息量 −log⁡(p(x))-\log \left ( p\left(x \right ) \right )−log(p(x)) ppp为概率 信息熵 H(X)=−∑x∈Xp(x)log⁡(p(x))=−Ex∼p(log⁡(p(x)))H\left(X \right )= -\sum_{x\in X} p\left(x \right )\log \left(p\left(x \right ) \right )=- E_{x \sim p} \left(\log \left(p\left(x \right)
MATLAB互信息理论工具包：熵与互信息计算详解
资源摘要信息:"本资源包提供了MATLAB环境下关于信息熵和互信息理论计算的工具和函数。信息熵是度量信息量的单位，它反映了信息的不确定性。互信息则是衡量两个变量之间相互关系的统计量，它通过考虑两个变量共享的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值