信息论基础——信源熵及其性质研究

本文仅供学习使用，如有侵权请及时联系，博主会第一时间进行处理

一、实验目的

1.掌握离散信源熵的含义及其计算方法；
2.理解熵函数的性质及其物理意义；
3.探究熵的对称性、确定性、扩展性、极值性和上凸性。

二、实验原理及内容

离散信源相关的基本概念、原理和计算公式；
产生离散信息的信源称为离散信源。离散信源产生有限种符号。假设X是一个离散随机变量，信源的数学模型统一抽象为：

离散信源熵的是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，其信息熵是一个确定的数值。不同的信源因统计特性不同，其熵也不同。离散信源的熵计算公式为：
1.基本要求
对输出两个符号的离散信源的熵进行研究，能够用图形显示出离散信源的熵的曲线，要求横纵坐标表明物理量及其单位等信息。同时根据曲线说明可以体现出的离散信源的相关性质。
2.扩展要求
离散信源的输出符号有限个（可大于2个，可参数设置）；可输入各个符号的概率；可判断信源各个符号的概率总和是否为1，从而确定输入符号的概率是否正确；可打印出离散信源的熵值；从熵值探究熵的对称性、确定性、扩展性、极值性。可另加自创。

三、实验设备与材料

计算机和matlab软件

四、实验步骤

1.打开matlab编辑窗口，输入源程序（程序要有注释，且要有合理的结构）；
2.保持源文件（文件名一定要和程序的功能相匹配，不可随意保存）；
3.单击Debug菜单下的Run，或直接按F5执行；
4.分析运行结果，当不满足设计要求时，调试改进。

五、实验程序及运行结果

基础部分实验程序：

p0=0;%Minimum Probability%
pd=1;%Maximum Probability%
N=100;%100 sampling points%
p=linspace(p0,pd,N);%100 sampling points constitute a linear vector%
pa=[1/2,1/2];%pa is the probability space of discrete memoryless sources%
pb=[1/4,3/4];%pb is the probability space of discrete memoryless sources%
entropya=0;%Initial Entropy of discrete memoryless sources is 0%
entropyb=0;%Initial Entropy of discrete memoryless sources is 0%
for i=1:2%Because there are two messages, the loop is repeated two times.%
    entropya=entropya+pa(i)*log2(1/pa(i));%information entropy function%
    entropyb=entropyb+pb(i)*log2(1/pb(i));%information entropy function%
end
disp('Entropy of discrete memory-less sources:');
entropya
disp('Entropy of discrete memory-less sources:');
entropyb
H=-(p).*log2(p)-(1-p).*log2(1-p);% entropy function %
plot(p,H)
title('entropy H(p)=-(p).*log2(p)-(1-p).