信源 (连续 离散 有记忆 无记忆)
马尔科夫信源(齐次)
当信源的记忆长度为m+1时,该时刻发出的符号与前m个符号有关联性,而与更前面的符号无关
以下默认为离散信源
信息量(自,联合,条件,彼此关系)
自信息量:
联合自信息量:
条件自信息量:
相互之间的关系:
熵(条件,联合,符号,相对)
信息熵(平均信息量):
当信源的记忆长度为m+1时,该时刻发出的符号与前m个符号有关联性,而与更前面的符号无关
自信息量:
联合自信息量:
条件自信息量:
相互之间的关系:
信息熵(平均信息量):