信息论与编码
明仔的阳光午后
JapaneseJump网站管理员|数据开发工程师|软件开发工程师|保险经纪人
展开
-
[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵
离散信源信源即信息发出的源头,在后续的信道模型中,信源发出的信息即视为信道输入的信息。根据信源发出信息的取值,可将信源分为离散信源和连续信源。顾名思义,离散信源即发出的信息取值为离散型的信源;连续信源即发出的信息取值为连续型的信源。离散信源中又根据符号出现的概率是否与前面符号有关分为:离散无记忆信源和离散有记忆信源。信息熵前面已经了解过了自信息的概念。自信息表示的是某个事件的不确定...原创 2019-06-05 20:07:08 · 10746 阅读 · 0 评论 -
[信息论与编码] 04. 熵的基本性质
熵的基本性质1. 非负性:H(X) ≥ 0熵描述的是某个集合统计意义上的不确定性,是自信息的加权平均。而我们在一开始寻找描述不确定性的函数,引出自信息量概念的时候,便要求自信息的取值应在[0,+∞]。故,熵作为自信息的加权平均,自然也是非负的。2. 确定性:H(1,0)=H(1,0,0)=……=H(1,0,0,…,0)=0①根据熵的定义式,可知H(1,0)=1*log1=0②根据熵的...原创 2019-06-07 02:50:28 · 6451 阅读 · 0 评论 -
[信息论与编码] 02. 信息的测度
自信息可寻得自信息定义式为:、当 r = 2 时,自信息单位为比特(bit)当 r = e 时,自信息单位为奈特(nat)当 r = 10时,自信息单位为哈特(hart)自信息的意义若 a 未发生,则 I(a) 表示a发生的不确定性;若 a 已发生,则 I(a) 表示a提供的信息量。自信息与概率自信息描述的是事物的不确定度,而概率论是数学中描述不确定性的部分。自信息的数学描述...原创 2019-06-04 21:13:04 · 660 阅读 · 0 评论 -
[信息论与编码] 01. 信息的概念
@从现实世界到信息世界:信息信息日常生活中,我们很少刻意区分信息和消息。人五官所感所得,皆可被我们归为信息,且核心在于信息在自然世界与人之间传输,被我们主观意识所捕获的那个get的瞬间。如果要加以区分。信息不等同于情报;信息不等同于知识;信息不等同于消息;信息不等同于信号;信息、消息、信号将客观物质运动和主观思维活动的状态以人所能感知的形式(如: 文字、图像、符号、数据、语言、音...原创 2019-06-04 19:19:20 · 699 阅读 · 0 评论