信源产生消息、消息携带信息。 研究信源各种可能的输出及输出的不确定性,不研究信源的物理结构。 离散信源(一个消息) 定义:可能输出的消息数是有限的或可数的,每次只输出一个消息,即两两不兼容。 数学模型:一维离散随机变量X 例如,掷色子 特点 P(ai)是先验概率(i=1,2,…,q)消息数有限每次必定输出一个消息(完备) 连续信源(一个消息) 定义:可能输出的消息数是无限的或不可数的,每次只输出一个消息。 举例:语音输出信号,压力信号等 数学模型:一维连续信号变量X