《数学之美》——第六章 个人笔记

最新推荐文章于 2021-04-11 11:28:29 发布
最新推荐文章于 2021-04-11 11:28:29 发布
阅读量709 收藏
点赞数 1
分类专栏： 书籍阅读 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41010142/article/details/79987516
版权
本文是《数学之美》第六章的个人笔记，主要探讨信息的度量和作用。内容包括信息熵的概念，它是不确定性度量的指标，重复内容的熵较小。信息的作用在于消除不确定性，条件熵揭示了模型复杂度如何降低不确定性。此外，介绍了互信息，用于衡量两个随机事件的关联，并延伸讨论了相对熵（交叉熵）作为衡量概率分布差异的工具。
摘要由CSDN通过智能技术生成

                                           数学之美

最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。

ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。

第六章     信息的度量和作用

1    信息熵

从一个角度可以认为信息量就等于不确定性的多少。

信息熵（Entropy）,一般用符号H表示，单位是比特。

熵的定义:


变量的不确定性越大，熵也就越大。

文中有个关于冗余度的：重复的内容很多，信息量就小，冗

最低0.47元/天 解锁文章
方玲是个小可爱
关注
专栏目录
《数学之美》读书笔记（二）：第6章~第10章
shensen0304的博客
03-13 1002
第六章 1.信息量等于不确定性的多少。 2.香农用“比特”这个概念来度量信息量。 3.变量的不确定性越大，熵也就越大。 4.信息是消除不确定性的唯一办法。 5.网页搜索本质上就是要从大量网页中，找到和用户输入的搜索词最相关的几个网页。网页搜索的本质上也是利用信息消除不确定性的过程。如果提供的信息不够多，那么会有很多相关的结果。这时正确的做法是挖掘新的隐含信息，比如网页本身的质量信息。如果这些信息还...
《数学之美（第一版）》笔记 —— 第6章
budding0828
08-11 294
第6章 信息的度量和作用 信息熵（Entropy） 背景： 信息量等于不确定性的多少 可以用bit这个概念来衡量信息量（所以加上了log函数） 信息熵公式： 其中P(x)P(x)P(x)是x发生的可能性。变量的不确定性越大，熵也就越大。 信息熵的取值范围是：[0,log2(n)][0, log_2(n)][0,log2​(n)] ，其中n代表分类的数目。其推导过程可以参考：https://blog.csdn.net/sinat_26811377/article/details/10199235
《数学之美》第6章 信息的度量和作用
wangsiji_buaa的博客
05-02 1174
1 信息熵    一条信息的信息量与其不确定性有着直接的关系。信息量就等于不确定性的多少。    如何量化信息量的度量？  信息熵（entropy） 用符号H表示，单位是比特。         变量的不确定性越大，熵也就越大。    如果一本书重复的内容很多，它的信息量就小，冗余度就大。    不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。2 信息的作用    信息和消除不确定性是...
《数学之美》 第六章 信息的度量和作用
weixin_30809173的博客
10-25 115
《数学之美》 第六章 信息的度量和作用 信息量等于不确定性的多少 香农定理中，用比特bit这个概念来度量信息量。一个比特是一位二进制数，计算机中一个字节是8比特 信息熵，一般用符号H表示 $$H(X)=-\sum_{x\in{X}}P(x)logP(x)$$,变量的不确定性越大，熵就越大 一个事物内部会存在着随机性，也就是不确定性，假定为U，从外部消除这个不确定性唯一的办法是引入信息I。而...
《数学之美》第六章——信息的度量和作用
XHHP
04-11 485
1 信息熵 一条信息的信息量与其不确定性有着直接的关系。 如何一件事情非常不确定，我们要搞清楚就需要了解大量的信息。如果一件事情了解较多，则只需要少量信息就可以搞清楚。 可以认为，信息量就等于不确定性的多少。 下面举一个例子来解释信息量如何进行度量： 但是对于冠军球队的猜测其实信息量可能是更少的，因为每支球队的夺冠概率不一样。因此我们可以现在概率高的球队中进行猜测。 香农指出，它的准确信息量应该是： 其中，p1,p2,…,p32分别是这32支球队夺冠的概率。香农把它称为“信息熵”，一般用符号H表示，单位
《数学之美》——第五章 个人笔记
qq_41010142的博客
04-18 846
                                           数学之美最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。第五章     隐含马尔可夫模型1 通信模型通信的本质是一个编解码和传输的过程。典型的通信系统：包含雅格布森通信的六个要素：发送者（信息源），信道，...
《数学之美》——第二章 个人笔记
qq_41010142的博客
04-17 428
                                           数学之美最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。第二章    自然语言处理——从规则到统计这一章开头这句话：字母，文字，数字是信息编码的不同单位。任何一种语言都是一种编码的方式，而语言的语法规则是...
《数学之美》——吴军#读书笔记
搞点學術的研究生
01-20 1010
《数学之美》 吴军 第一章：文字和语言vs数字和信息 主要内容概述：“语言和数学的产生都是为了同一个目的——记录和传播信息”。科技是伴随着人类的不断进化而发展进步的。信息是从人类诞生（雏形时期）开始就已经产生，并与现在的通信模式没有什么不同。同时随着信息量的增加，认字也随之出现了。文字只是信息的载体，而非信息本身，所以不同的载体可能存储着相同意义的信息。在对事物的描述上也从外表向抽象发展，这不自觉的实现了对信息的编码，且编码方式很符合现在的编码原理。人员前人在语言文字上使用的方法，如今的信息科学中依然实用。
数学之美》读书笔记和知识点总结（一）
pi9nc的专栏
07-12 2145
《数学之美》读书笔记和知识点总结（一） 　　早在前几个月我在台湾的时候，就听说《数学之美》是一本非常不错的书，也正好是我喜欢的类型，一直想买。回到北京之后的第一件事就是把我这半年积攒的书单全部兑现，其中包括《数学之美》和《浪潮之巅》。看了之后大叫过瘾，让我好好享受了一回数学之美。   文字和数字的起源 很久以前人类以不同的叫声表示不同的信息，达到彼此交流的目的，当所要表达的
数学之美（Beauty Of Mathematics）
ikaros_xiao_严小飞
09-07 1277
记得在研一期间，无意看到《数学之美》这本产销书，不禁惊叹于吴军博士深入浅出强大的叙述能力，吴军在书中追根溯源，把隐藏在现代科技领域相关的数学知识和历史娓娓道来，让人兴趣盎然，细细品会数学带来美妙。清华大学李星教授在序言中提到，从事科学研究很重要的一点就是掌握思维方法，人们总是试图化繁为简，执简驭繁，把自然现象归结为简单的基本概念和关系，简单性原则正是自然哲学的基本原理之一，吴军在《数学之美》书中也
数据结构笔记 第六章 图
lgz20171677sze的博客
11-28 282
稀疏图：称边数很少的图为稀疏图； 稠密图：称边数很多的图为稠密图。 顶点的度：在无向图中，顶点v的度是指依附于该顶 点的边数，通常记为TD (v)。 图的基本术语 顶点的入度：在有向图中，顶点v的入度是指以该顶 点为弧头的弧的数目，记为ID (v)； 顶点的出度：在有向图中，顶点v的出度是指以该顶 点为弧尾的弧的数目，记为OD (v)。 回路（环）：第一个顶点和最后一个顶点相同的路径。 简单路径：...
《数学之美》-读书笔记
CallMeYunzi的博客
07-06 944
Rosetta罗赛塔信息的冗余是信息安全的保障。罗赛塔石碑上的内容是同一信息重复三次，（上面有三种语言：埃及象形文字、埃及的拼音文字、古希腊文），因此只要有一份内容完好保留下来，原有的信息就不会丢失，这对信道编码有指导意义。（感谢2000多年前古埃及人在罗赛塔石碑上用三种文字记录了托勒密五世登基的诏书）自然语言处理：应用最多的是N=3的三元模型。古德-图灵估计（Good-Turing Estima...
书札《数学之美》（在读）
My Blogs
11-04 8422
文章目录第1章 文字和语言 vs 数字和信息第2章 自然语言处理——从规则到统计 第1章 文字和语言 vs 数字和信息 主要讲述了文字、数字和语言的历史。 语言和数字的出现都是为了传递信息（通信）。 语言的数学本质：每一门语言都是一种编码规则，而语言的语法规则则是解编码的算法。 每次我们想表达一句话，都先在头脑中使用某种编码规则编码一次。而对方听到后，在脑中解码，才能听懂对方想要表达的意思。 ...
《数学之美》与算法
陶辉：聚焦分布式系统的程序员
02-23 3211
原文链接：https://www.taohui.pub/2019/02/23/%e3%80%8a%e6%95%b0%e5%ad%a6%e4%b9%8b%e7%be%8e%e3%80%8b%e4%b8%8e%e7%ae%97%e6%b3%95/ 《数学之美》是一本非常好的算法进阶书，它与吴军老师从事的工作领域密切相关，所以工程性很强。半年时间断断续续读完此书，这里做个笔记，也希望能帮助还未读过本书...
《数学之美》读书笔记
ferb的语音识别学习小站
03-27 238
《数学之美》笔记2
DMU_lzq1996的博客
10-17 599
第二章 自然语言处理—从规则到统计 语言的数学本质决定了语言处理的解决途径:数学 1.机器智能 科学计算机之父阿兰.图灵提出了让机器与人类交流的可能性。检验机器的人工智能性—图灵测试 自然语言处理的两个阶段： 20世纪50年代到70年代，弯路阶段：用电脑模拟人脑，模拟人类学习语言的方式 利用数学模型和统计方法进行语言处理阶段 自然语言处理发展历程： 1956年达特茅斯会议，香农等十位领域专...
《数学之美》读后感——大道至简
wyyhuli的博客
08-14 4492
《数学之美》读后感——大道至简 从头到尾坚持读完真不容易，但是由此确实得到很多。不仅仅有一些书本知识，更重要的是带给自己的思考（ps：这才是要让自己写读后感的原因）。 首先来梳理一下所获的知识吧。这本书的作者是吴军之前是任于Google，因为其从事大多是自然语言处理与搜索相关工作，所以介绍很多算法和模型都是从中剥离出来介绍它们简单的一些原理。 ...
数学之美学习笔记
柯小黑的博客
02-22 2364
16年一月份阅读了吴军的《数学之美》，真有种相见恨晚的感觉！对于刚刚学习自然语言处理的人来说，这是最佳入门读物，没有之一。下面是我在学习中做的一些知识点的阅读笔记，有些内容、公式摘自Tomas M.Cover的《信息论基础》，详情请参考原著，本文仅作个人阅读笔记学习使用。 1.熵、联合熵、条件熵、互信息、相对熵 信息的作用是排除不确定性，信息量就得关于不确定性的多少。 对于任意一个随机变量X
LPMM阅读笔记——第3章 多电压域设计
最新发布
06-01
很好，我会尽力回答你的问题。关于LPMM阅读笔记中的第3章——多电压域设计，主要讲述了在设计低功耗系统时，如何通过多电压域设计来降低功耗，提高系统效率。 在多电压域设计中，我们需要将系统划分成多个电压域，不同电压域的模块采用不同的电压供电。一般来说，高功耗模块采用高电压供电，低功耗模块采用低电压供电。这样可以有效降低系统功耗，提高系统效率。 在设计多电压域系统时，需要考虑以下几个方面： 1. 电压域划分：需要根据系统模块的功耗、性能要求等因素进行合理的电压域划分。 2. 电压转换：不同电压域之间需要进行电压转换，需要选择合适的电压转换器，同时需要考虑转换效率、稳定性等因素。 3. 时序设计：不同电压域之间的时序需要进行合理的设计，确保系统能够正常运行。 4. 信号传输：不同电压域之间的信号传输需要进行电平转换，需要选择合适的电平转换器。 综上所述，多电压域设计是降低低功耗系统功耗、提高系统效率的重要手段之一。但在实际应用中，需要综合考虑多个因素，进行合理的设计。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值