信息论之哈夫曼编码

哈夫曼编码是信息论中的一种前缀编码方法,通过将概率较小的符号编码为较短的码字,逐步合并构建哈夫曼树。在编码过程中,按概率排序并依次标记0和1,直至所有概率相加等于1。虽然不同的哈夫曼编码可能产生不同的码字,但码长是固定的,不影响编码效率。平均码长相同,表明编码效率一致,而码方的方差小则意味着编码质量更优。
摘要由CSDN通过智能技术生成

 先将信源符号的概率按从小到大排序,将最小两个的概率分别标记为0和1,相加;

重新再一轮排序,也按照从小到大,仍然将最小的两个概率标记0和1,相加;

直到最后相加的总概率为1.0,即完成。

码字W1是按照对应一行的信源符号ai的概率p(ai)在编码过程中担任了0or1,先标记的数字在后面,后标记的在前面。

码长Ki为二进制码字的位数。

将表5-5和5-6中编码过程横向看即可发现,将括号指向的箭头的数字所在的那一行信源符号ai作为根节点,能够形成为哈夫曼树,即是图5-7中竖向看的哈夫曼树。

因为此编码中最后两个概率最小符号,用0和1是可以任意的,所以可以得到不同的哈夫曼码,即表格中码字Wi不是唯一的,得到的码不是唯一码。但码长是一定的,即不被影响。

两种哈夫曼编码,经计算,平均码长相等,编码效率一致,从码方来看,表格5-6方差小,质量要好,充分利用短码。

信息论中的哈夫曼编码是一种变字长编码,可以使得编码的平均码长很接近信息熵的编码。其基本思想是,出现概率大的符号编码短一点(码长小),出现概率小的符号则用更多的码来表示。下面是哈夫曼编码的实验步骤和代码实现: 1. 实验步骤: - 统计待编码的字符出现的频率。 - 将字符按照频率从小到大排序。 - 将频率最小的两个字符合并成一个节点,其权值为两个字符的频率之和。 - 将新节点插入到已排序的字符列表中。 - 重复步骤3和4,直到只剩下一个节点。 - 从根节点开始,对每个节点进行编码,左子节点编码为0,右子节点编码为1。 - 对每个字符进行编码,将其对应的编码串连接起来即为哈夫曼编码。 2. 代码实现: ```matlab % 定义字符集和对应的频率 symbols = {'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H'}; freq = [0.05, 0.1, 0.15, 0.2, 0.25, 0.1, 0.1, 0.05]; % 构建哈夫曼树 nodes = cell(length(symbols), 1); for i = 1:length(symbols) nodes{i} = struct('Symbol', symbols{i}, 'Freq', freq(i)); end while length(nodes) > 1 [freqs, idx] = sort(cellfun(@(x) x.Freq, nodes)); left = nodes{idx(1)}; right = nodes{idx(2)}; newNode = struct('Symbol', {left.Symbol, right.Symbol}, 'Freq', left.Freq + right.Freq); nodes = {nodes{idx(3:end)}, newNode}; nodes = sort(nodes, @(x) x.Freq); end % 生成编码表 root = nodes{1}; codeTable = cell(length(symbols), 1); for i = 1:length(symbols) code = ''; node = root; while ~isempty(node.Symbol) if ismember(symbols{i}, node.Symbol{1}) code = [code, '0']; node = node(1); else code = [code, '1']; node = node(2); end end codeTable{i} = code; end % 输出编码表 for i = 1:length(symbols) fprintf('%s: %s\n', symbols{i}, codeTable{i}); end ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值