信息、数据、熵和带宽

原创 2004年09月27日 20:31:00
1、信息与数据
信息与数据虽然经常在一起使用,但其概念是不相同的,必须区别开来。数据是用来记录和传送信息的,或者说数据是信息的载体。真正有用的不是数据本身,而是数据所携带的信息。传输信息的过程中,需要作大量的数据处理。为此,大量的图像数据和语音数据在多媒体系统中如何保存和传输,就成了多媒体技术最基本的问题,也是最大的难题之一。

  无论是哪一种媒体,它们都承载了一定的信息。按信息论创始人香农(G.E.Shannon)以概率论的观点和方法进行定量化描述,则 信息函数为:

  I(ai)= - log2pi (I=1,2,3…,r)

  其中,Pi(i=1,2,……, r)表示随机消息集合X:{a1,a2……, ar}中 消息ai(i=1,2,……,r)的先验概率。它可以度量ai (i=1,2……,r )所 含的信息量。I(ai )(i=1,2……,r)在X的先验概率空间P:{p1, p2,……pr}中的统计平均值:

H(x)=H{p1,p2,…,pr} =
formul.GIF pilog2pi

  为X的信息熵,用以度量X中每一种消息中所含的平均信息量。熵,作为一种信息定量化描述的量,与热力学中的熵(描述系统无序的程度)相反,信息量描述的是系统有序的程度。
2、信息的数据量和压缩的必要性
数字化了的视频、音频等媒体信息的数据量是很大的,下面分别以文本、图形、图像和音频等类型的信息为例,计算它的数据量。

 (1)文本

设屏幕的分辨率为768×512,字符大小为8×8点阵, 每个字符用两个字节表示,则满屏字符的数量为: (768/8)×(512/8)=6144(个)

 一屏文本需要的存储空间(字节)为: 6144×(2×8)=96kbit=12KB

 (2)点阵图

以一个简单的全屏点阵图来看,设屏幕大小为 768×512,每点是256色,则存储一屏点阵图需要的空间为:

  768×512 ×log2256 = 384KB (800 ×600 ×16/8 = 0.926MB

  复杂的计算机真彩图像通常是由扫描仪获取的。如果要将一张 11英寸×8.5英寸的彩色照片输入计算机,扫描仪的分辨率设定为300dpi(点/英寸),每个像素的R、G、B分量分别为8位,扫描 产生的就是24位的真彩图,经扫描仪数字化后的图像就要占据 25.245MB的存储空间。

 (3)矢量图形

矢量图形所需的存储空间是比较小的。例如,存 储一幅由500条直线组成的矢量图形,也就是要存储构造图形的 线条信条,每条线的信息可由起点X,起点Y,终点X,终点Y, 属性等五个项目表示,其中属性一项是指线的颜色和宽度等性 质。设屏幕大小为768×512,属性位用1字节表示,则每条线的 存储空间为:

  10×2+9×2+8=46bit

 存储这样一幅图形需要的空间为: 500×46≈2.3KB

 (4)数字化声音(语音)

声音的模拟带宽为4kHz,采样大小 是8bit,采样频率为8 kHz,存储ls这样的声音需要的空间为: 8×8=64kbit=8KB

 (5)数字化高质量音频

声音的模拟带宽为22 kHz,采样大小 是32bit,采样频率至少为44 kHz。存储ls这样的数字化音频需 要的空间为: 44×32=1408kbit=176KB

 (6)数字化视频

PAL制式欧洲和我国使用的彩色视频图像标准,其视频带宽为5MHz,帧速率为25帧/s,样本宽是24bit,采用频率至少为10MHz,因而存储一帧数字化的PAL制式视频图像需要的空间为:

  10÷25×24=9.6Mbit=1.2MB

 存储一秒钟PAL制式的视频图像需要的空间为: 1.2×25=30MB

  从以上多媒体信息与数据量的关系可见,存储数字化的多媒体信息要求的存储空间是很大的。再从数据传输的要求看,多媒体通信系统对海量信息的处理和传送也受到计算机自身和传输线路等因素的限制。

  例如,某计算机通信系统,NISC制视频显示的屏幕分辨为 720×480,每秒30帧,一屏的像素总共为: 720 ×480=345600个

 一屏图像由奇数行和偶数行扫描产生,共中有240个奇数行和240 个偶数行,如果采用24位真彩显示,则一个NTSC制的满屏需要:   720×(480/2)×24=4147200bit

  要作实时传送则每秒30帧对应着4147200×30=124416000bit/s的速率。假设传输通道的数据速率为7Mbit/s,则需要的图像压缩因 子为18:1。这就需要通过MPEG算法作必要的压缩。

  可见,多媒体信息面临的最大难题之一是海量数据的问题, 数据压缩将是解决问题的重要途径。
3、传输多媒体信息的数据率和带宽
多媒体音频信息中4种等级的音频数据率(未经压缩)如下表4-1所示。

  数字音频的数据率  
种类
采样率 位数/样本 数据率(kb/s)
电话 8 8 64
电话会议 16 14 224
激光唱盘(CD-Audio) 44.1 16 705.6X2
数字音频唱盘(DAT) 48 16 768

 

  数字电视图像的数据率  
种类 时空分辨率 数据率(KB/s)
SIF 352X240X30 7.603
CCIR 720X576X25 31.104
HDTV 1280X720X60 55.296

 SIF: Soruce Input Forrmat

 CCIR: Consulatative Committee International Radio

 HDTV: High Definition Television Format

 对于数字化声音、高音频信号以及视频图像,由于要实时播放, 因而还要求加大CPU与内存、外存之间的传输频带宽度:

  >>全彩色、全屏幕、全运动的高频图像要求数据传输带宽为300MB/s。

  >>高质量音频要求数据传输带宽为176KB/s。

  >>语音要求数据传输带宽为8KB/s。

熵与信息量的理解

有人说:“熵越大,信息量越小”也有人说:“熵越大,信息量越大”到底在香农的信息框架下,熵指的是什么?信息量指的又是什么呢?上面的两种说法哪种是对的呢?给定一个随机变量X,它的熵定义为 H(X)=- /...
  • xianlingmao
  • xianlingmao
  • 2010年05月28日 17:14
  • 12006

带宽、速率(波特率、比特率)和码元宽度简述

首先弄清楚带宽和速率的关系:;信道带宽与数据传输速率的关系可以奈奎斯特(Nyq;奈奎斯特准则指出:如果间隔为π/ω(ω=2πf);对于二进制数据若信道带宽B=f=3000Hz,则;奈奎斯特定理描述了有...
  • weiweiliulu
  • weiweiliulu
  • 2015年06月03日 13:32
  • 7240

熵与信息增益

熵与信息增益在决策树算法中,决定特征优先级时,需要用到熵的概念,先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的;一个事件发生的概率越大,不确定性越小,则它所携带的信息量就越小。假设X是一个离散...
  • xg123321123
  • xg123321123
  • 2016年10月19日 23:09
  • 1249

波特率、数据传输速率和带宽的关系(转)

【带宽W】 带宽,又叫频宽,是数据的传输能力,指单位时间内能够传输的比特数。高带宽意味着高能力。数字设备中带宽用bps(b/s)表示,即每秒最高可以传输的位数。模拟设备中带宽用Hz表示,即每秒传...
  • wfc_02
  • wfc_02
  • 2015年08月26日 13:56
  • 7261

带宽与数据传输速率

三、 内存中的带宽 六、 通讯中的带宽 在通讯和网络领域,带宽的含义又与上述定义存在差异,它指的是网络信号可使用 的最高频率与最低频率之差、或者说是“频带的宽度”,也就是所谓的“Bandwidt...
  • wu_cai_
  • wu_cai_
  • 2015年10月13日 17:25
  • 3563

信息熵,条件熵,互信息的通俗理解

自信息(self-information): I(x)=   =  - log(p(x))         (1) 式中的log表示自然对数, 如果用...
  • ranghanqiao5058
  • ranghanqiao5058
  • 2017年11月06日 16:16
  • 152

通俗理解决策树中的熵&条件熵&信息增益

参考通俗理解决策树算法中的信息增益 说到决策树就要知道如下概念: 熵:表示一个随机变量的复杂性或者不确定性。 假如双十一我要剁手买一件衣服,但是我一直犹豫着要不要买,我决定买这件事的不确定性(熵)为2...
  • marsggbo
  • marsggbo
  • 2017年08月24日 17:39
  • 368

信息熵、条件熵、信息增益

信息增益描述了一个特征带来的信息量的多少,往往用于特征选择信息增益 = 信息熵 - 条件熵一个特征往往会使一个随机变量Y的信息量减少,减少的部分就是信息增益一个例子如图所示,目标值是:playtenn...
  • xtingjie
  • xtingjie
  • 2017年05月07日 12:32
  • 1020

信息熵,条件熵,相对熵

信息熵,条件熵,相对熵 Last Edit 2013/12/30  以前在学习通信原理,信息论时都学习过这样的原理,但是不能从根本理解这样的公式有什么用,能解决什么问题。例如,笔者最近在看用信息论里条...
  • jxlijunhao
  • jxlijunhao
  • 2013年12月31日 08:52
  • 6996

概率、信息和熵

以前写过一篇关于最大熵模型的读书笔记。刚翻陈家鼎和郑忠国两位老师合编的教材《概率与统计》(北大出版社,2007),看到关于信息熵的详细数学表述,不妨转述一下,算是不在场的课堂笔记。 概率与信息 事...
  • chl033
  • chl033
  • 2009年11月10日 18:54
  • 3278
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:信息、数据、熵和带宽
举报原因:
原因补充:

(最多只允许输入30个字)