信息论篇-第一次上机作业，你好！

于 2021-04-03 00:42:37 发布
阅读量1.1k 收藏
点赞数 8
分类专栏： 信息论 作业
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45014265/article/details/115410269
版权

在这里插入图片描述

信息论第一次上机作业

1.图像信源熵的求解

读入一幅图像，实现求解图片信源的熵。

'''
1.图像信源熵的求解
读入一幅图像，实现求解图片信源的熵。
'''
import math
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image

#获取一个数字数组中的数组，以np.matrix形式输出，原数组
def get_strlist_data(lines):  # 在这里lines = f.readlines()
    '''
    :param lines: 输入的是字符串形式，这样更为方便转化
    :return: 字符串对应的列表list形式
    '''
    sizeArry = []  # 创建一个list,用来存储数据
    for line in lines:
        line = line.replace("\n", "")
        # 因为读出来的数据每一行都有一个回车符，我们要删除
        line = float(line)
        # 将其转换为整数
        sizeArry.append(line)
    # 转换为numpy 可以识别的数组
    return np.asarray(sizeArry)

def get_file_data(path):
    '''
    :param path: 需要读取的图片所在路径
    :return: 得到字符串形式的数组
    '''
    # 首先打开文件从文件中读取数据
    f = open(path)  # path存储的是我们的目标文件所在的位置
    # 我们先打开目标文件然后读取出这个文件中的每一行
    lines = f.readlines()
    return get_strlist_data(lines)

#图像信息矩阵化(灰度图片)
def ImagetoArray(filename):
    im = Image.open(filename)
    #im.show()
    # 图片信息矩阵化
    data = np.asarray(im)
    data = np.array(data, dtype='float')
    return data
#三色道分离操作
def ImagetoArrayRGB(filename,channel):
    data=ImagetoArray(filename)
    if channel=='r':
        return data[:,:,0]
    if channel=='g':
        return data[:,:,1]
    if channel=='b':
        return data[:,:,2]

def Entropy(Mat):
    M=np.size(Mat)#数据总量
    Census=np.zeros(255)
    for i in range(np.shape(Mat)[0]):
        for j in range(np.shape(Mat)[1]):
            Census[int(Mat[i][j])-1]+=1
    sum=0
    for i in Census:
        if i == 0:
            continue
        else:
            sum+=i*math.log(i)
    entropy=-sum/M+math.log(M)
    return entropy

if __name__=="__main__":
    Path='菲谢尔1.jpg'
    R=ImagetoArrayRGB(Path,'r')
    G=ImagetoArrayRGB(Path,'g')
    B=ImagetoArrayRGB(Path, 'b')
    print(Entropy(R)+Entropy(G)+Entropy(B))

在这里插入图片描述
上图中的菲谢尔的信息量为：

15.555038790999852

2.一个发射器发出A，B，C三个消息

一个发射器发出A，B，C三个消息,他们的先验概率和条件概率分别为：

iABC
P(i)9/2716/272/27

条件概率为：

P(i/j)ABC
A04/51/5
B1/21/20
C1/22/51/10

Q1:求信源熵。
Q2:求信源最大熵。
Q3:求剩余度。

'''
2.一个发射器发出A，B，C三个消息,他们的先验概率和条件概率分别为：
  i     A     B     C
P(i)  9/27  16/27  2/27

 0   4/5  1/5
1/2  1/2   0
1/2  2/5  1/10
'''
import math
def SourceEntropy(a,A):
    '''
    用于计算信源熵值(条件熵)
    :param a: 信源的先验概率向量
    :param A:条件概率
    :return: 信源熵
    '''
    sum=0
    l=len(a)#a的元素个数，对应A的行数
    for i in range(l):
        for j in A[i]:
            if j==0:
                continue
            else:
                sum+=a[i]*j*math.log(j)
    return -sum

if __name__=="__main__":
        a=[9/27,16/27,2/27]
        A=[[0,4/5,1/5],[1/2,1/2,0],[1/2,2/5,1/10]]
        print('第一问答案:信源熵为'+str(SourceEntropy(a,A)))
        B=[[1/3,1/3,1/3],[1/3,1/3,1/3],[1/3,1/3,1/3]]
        print('第二问答案:信源最大熵为' + str(SourceEntropy(a, B)))
        print('第三问答案:剩余度为'+str(1-SourceEntropy(a,A)/SourceEntropy(a, B)))

结果展示：

第一问答案:信源熵为0.6474323513133665
第二问答案:信源最大熵为1.0986122886681093
第三问答案:剩余度为0.4106816772473262

3.互信息量和平均互信息量的求解

在这里插入图片描述

#Q3 互信息量和平均互信息量的求解
import math
import numpy as np

def  MutualInformation(Px,Py,Pxy):
    return Pxy*math.log2(Pxy/(Px*Py))

def AveMutualInformation(PM):
    PM=PM/sum(sum(PM))
    Px=[sum(PM[i][:]) for i in range(np.shape(PM)[0])]
    Py=[sum(PM[:][i]) for i in range(np.shape(PM)[1])]
    s=0
    for i in range(len(Px)):
        for j in range(len(Py)):
            if Px[i]==0 or Py[j]==0 or PM[i][j]==0:
                continue
            else:
                s+=MutualInformation(Px[i],Py[j],PM[i][j])
    return s

if __name__=='__main__':
    ProM=np.array([[1/2,1/2],[1/2,1/2]])
    print('矩阵对应的互信息量为'+str(AveMutualInformation(ProM)))
    print(MutualInformation(1/2,1/2,1))

结果展示：

矩阵对应的互信息量为0.0
2.0

在这里插入图片描述

4.联合熵的求解

已知信源X和信源Y的联合概率，求解X和Y的联合熵。

#Q4 已知信源X和信源Y的联合概率，求解X和Y的联合熵。
import numpy as np
import math

def JointEntropy(PM):
    #先进行归一化
    PM=PM/sum(sum(PM))
    s=0
    for i in PM:
        for j in i:
            s+=j*math.log2(j)
    return -s
if __name__=='__main__':
    PM=np.array([[1/2,1/2],[1/2,1/2]])
    print('上述概率矩阵对应的联合熵为:'+str(JointEntropy(PM)))

结果展示为：

上述概率矩阵对应的联合熵为:2.0

5.Kraft不等式的分析与判断

给定信源符号个数，码元进制数和码长，判断唯一可译码是否存在。

'''
5.Kraft不等式的分析与判断
给定信源符号个数，码元进制数和码长，判断唯一可译码是否存在
'''
if __name__=="__main__":
    NumOfSource=int(input('信源符号个数:'))
    Hex=int(input('码元进制数:'))
    Length=int(input('码长:'))
    if Hex**Length==NumOfSource:
        print('存在唯一可译码。')
    else:
        print('不存在唯一可译码。')

结果展示：

信源符号个数:8
码元进制数:2
码长:3
存在唯一可译码。

信源符号个数:9
码元进制数:2
码长:4
不存在唯一可译码。

6.费诺编码的分析与实现

给定信源各个符号及其发生概率,求解其费诺编码的码字,平均码长和编码效率。

'''
6.费诺编码的分析与实现
给定信源各个符号及其发生概率,求解其费诺编码的码字,平均码长和编码效率
'''
import numpy as np
import math
import re

def Partition(lxh,N):
    Norm_lxh=lxh/sum(lxh)
    for i in range(len(lxh)):
        if sum(Norm_lxh[:i+1])>=1/2:
            if abs(sum(Norm_lxh[:i+1])-1/2)>=abs(sum(Norm_lxh[:i])-1/2):
                return [[lxh[:i],lxh[i:]],[N[:i],N[i:]]]
            else:
                return [[lxh[:i+1],lxh[i+1:]],[N[:i+1],N[i+1:]]]

def Tree(lxh,N,filename):
    if lxh.size==1:
        print(N)
        print(N,file=filename)
    else:
        print(Partition(lxh, N)[1])
        print(Partition(lxh,N)[1],file=filename)
        for i in range(len(Partition(lxh,N)[0])):
            Tree(Partition(lxh,N)[0][i],Partition(lxh,N)[1][i],filename)

def AveLen(P,L):
    sum=0
    for i in range(len(P)):
        sum+=P[i]*L[i]
    return sum

def CodeEfficiency(H,L):
    return H/L

def Entrify(P):
    sum=0
    for i in range(len(P)):
        if P[i]!=0:
            sum+=P[i]*math.log2(P[i])
    return -sum

def BiCode(n,k):
    #n为长度，k为序号
    if k<=2**n:
        infor=str(bin(k))
        infor=infor[2:]
        infor=int((n-len(infor)))*'0'+infor
        return infor
    else:
        raise('编码错误，码树无法生成！')
def FenoCode(Num):
    Code=[]
    for i in Num:
        for k in range(0,int(2**i)):
            for j in Code:
                if re.match(BiCode(i,k),j) or re.match(j,BiCode(i,k)):
                    break
            else:
                Code.append(BiCode(i,k))
                break
    return Code


if __name__=='__main__':
    file='recode.log'

    mylog = open(file, mode='w', encoding='utf-8')

    N=['A','B','C','D','E','F','G']
    A=np.array([1/3,1/4,1/12,1/12,1/12,1/12,1/12])

    Num=np.zeros(len(N))
    Tree(A,N,mylog)

    mylog.close()

    with open(file,'r') as f:
        Infor=f.read()
    for i in range(len(Num)):
        Num[i]+=Infor.count(N[i])-1
    print('-'*30)
    print('码字为:')
    Cod=FenoCode(Num)
    print(Cod)

    for i in range(len(A)):
        print(N[i]+' '+str(round(A[i],3))+' '+Cod[i])
    print('平均码长为:'+str(round(AveLen(A,Num),3)))
    print('编码效率为:'+str(round(Entrify(A)/AveLen(A,Num),3)))

结果展示：

[['A', 'B'], ['C', 'D', 'E', 'F', 'G']]
[['A'], ['B']]
['A']
['B']
[['C', 'D'], ['E', 'F', 'G']]
[['C'], ['D']]
['C']
['D']
[['E', 'F'], ['G']]
[['E'], ['F']]
['E']
['F']
['G']
------------------------------
码字为:
['00', '01', '100', '101', '1100', '1101', '111']
A 0.333 00
B 0.25 01
C 0.083 100
D 0.083 101
E 0.083 1100
F 0.083 1101
G 0.083 111
平均码长为:2.583
编码效率为:0.976

7.二进制哈夫曼编码的分析与实现

给定信源各个符号及其发生概率，求解其二进制哈夫曼编码码字，平均码长，及其编码效率。

'''
 7.二进制哈夫曼编码的分析与实现
给定信源各个符号及其发生概率，求解其二进制哈夫曼编码码字，平均码长，及其编码效率。
'''
import numpy as np
import math
import re

def Join(P,N,filename):
    if len(N)==1:
        return None
    else:
        P=P/sum(P) #归一化
        P, N = (list(t) for t in zip(*sorted(zip(P, N))))
        print(N[0], N[1], sep=' ')
        print(N[0],N[1],sep=' ',file=filename)
        P=[P[0]+P[1]]+P[2:]
        #print(P)
        N=[N[0]+' '+N[1]]+N[2:]
        #print(N)
        Join(P,N,filename)
        return None

def AveLen(P,L):
    s=0
    for i in range(len(P)):
        s+=P[i]*L[i]
    return s

def CodeEfficiency(H,L):
    return H/L

def Entrify(P):
    sum=0
    for i in range(len(P)):
        if P[i]!=0:
            sum+=P[i]*math.log2(P[i])
    return -sum

def BiCode(n,k):
    #n为长度，k为序号
    if k<=2**n:
        infor=str(bin(k))
        infor=infor[2:]
        infor=int((n-len(infor)))*'0'+infor
        return infor
    else:
        raise('编码错误，码树无法生成！')

def FenoCode(Num):
    Code=[]
    for i in Num:
        for k in range(0,int(2**i)):
            for j in Code:
                if re.match(BiCode(i,k),j) or re.match(j,BiCode(i,k)):
                    break
            else:
                Code.append(BiCode(i,k))
                break
    return Code

if __name__=='__main__':
    mylog = open('recode7.log', mode='w', encoding='utf-8')

    P=np.array([0.4,0.2,0.2,0.1,0.1])
    M=['a','b','c','d','e']
    Join(P,M,mylog)

    mylog.close()
    Num=np.zeros(len(P))
    with open('recode7.log','r') as f:
        Infor=f.read()
    for i in range(len(Num)):
        Num[i]+=Infor.count(M[i])
    print('-'*30)
    print(Num)

    print('码字为:')
    Cod = FenoCode(Num)
    print(Cod)

    for i in range(len(P)):
        print(M[i] + ' ' + str(round(P[i], 3)) + ' ' + Cod[i])
    print('平均码长为:' + str(round(AveLen(P, Num), 3)))
    print('编码效率为:' + str(round(Entrify(P) / AveLen(P, Num), 3)))

结果展示为：

d e
b c
d e a
b c d e a
------------------------------
[2. 2. 2. 3. 3.]
码字为:
['00', '01', '10', '110', '111']
a 0.4 00
b 0.2 01
c 0.2 10
d 0.1 110
e 0.1 111
平均码长为:2.2
编码效率为:0.965

文稿：锦帆远航
代码：锦帆远航
图片：百度图片

你的支持(三连)是航航坚持下去的不懈动力哦！

锦帆远航
关注
  • 8
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 18
    评论
专栏目录
信息论上机作业
07-08
信息论上机作业。对信息论的发展现状以及未来趋势的一个探讨。
信息论与编码 上机
mfcheer
06-06 1023
香农：//代码： #include <stdio.h> #include <iostream> #include <string.h> #include <algorithm> #include <bitset> #include <math.h> #include <ctype.h> #include <time.h> #include <queue>
图像处理大型科普—图像信息熵
热门推荐
qq404752007的专栏
05-07 4万+
图像处理大型科普—图像信息熵哪里来的信息熵？在很多图像处理的过程中，需要判别一个图像的清晰度，和图像分割结果的优劣，于是就引出了信息熵的概念，绝大多数时候，它都被用来作为评价图像的一个量化标准。某度百科定义如下：“信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。”或许这句话中唯一能带来一点点信息量的就是一个“熵”字
6.12上机作业
weixin_30730151的博客
06-12 89
package work; import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; public class OutputData { public OutputData(String str) { File f = new File("da...
大连理工大学线性代数第二次上机作业，答案与解析
05-23
第一次现代化精确定义向量空间是在1888年，由朱塞佩·皮亚诺提出。 到1900年，一种有限维向量空间的线性变换理论被提出。在20世纪上半叶，许多前几世纪的想法和方法被总结成抽象代数，线性代数第一次有了它的现代...
川大网络教育-管理心理学第一次作业第二次作业.doc
06-20
这篇文档是川大网络教育管理心理学课程的一部分，包含了该课程的第一次和第二次作业。 在这些作业中，涵盖了管理心理学的一些核心知识点： 1. **管理心理学的起源**：管理心理学的根源在于生产组织活动，它起源于...
信息论概述-大作业.docx
06-19
"信息论概述" 本文将对信息论的基本概念、通信系统模型、信源熵、条件熵、联合熵等进行详细解释。 信息论是研究信息的传输、处理、提取和利用的科学。通信的内涵是指人与人或人与自然之间通过某种行为或媒介进行的...
大连理工大学线性代数第一次上机作业，答案与解析
05-20
第一次现代化精确定义向量空间是在1888年，由朱塞佩·皮亚诺提出。 到1900年，一种有限维向量空间的线性变换理论被提出。在20世纪上半叶，许多前几世纪的想法和方法被总结成抽象代数，线性代数第一次有了它的现代...
图像的熵计算
null
02-28 1万+
信息熵：     利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：
opencv计算图像互信息熵
明镜止水的博客
04-09 1万+
主要代码如下：//单幅图像信息熵计算
图像熵计算
飞信天下专栏
11-04 3万+
1.信息熵：     利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：
图像信息熵
u013972657的博客
09-16 7325
本篇转载自https://blog.csdn.net/qq404752007/article/details/51337773 原作者将图像熵解释的幽默风趣，清晰易懂，在此记录。
计算图像的信息熵
qq_42964830的博客
12-22 1226
# -*- coding: utf-8 -*- # @FileName: 计算图像的信息熵 # @Software: PyCharm # @Author : li Xu # @Time :2020//11//23 import cv2 import numpy as np import math tmp = [] for i in range(256): tmp.append(0) val = 0 k = 0 res = 0 image = cv2.imread(r'C:\Users\Ad
JAVA图书馆书库管理系统设计(论文+源代码).zip
06-25
JAVA图书馆书库管理系统设计(论文+源代码)
unity直接从excel中读取数据，暂存数据格式为dic<string,Object>
最新发布
06-25
unity直接从excel中读取数据，暂存数据格式为dic<string,Object>,string为sheet表名，Object为List<表中对应的实体类>，可以自行获取数据进行转换。核心方法为ImportExcelFiles，参数有 string[]<param name="filePaths">多个excel文件路径</param> Assembly<param name="assembly">程序集</param> string<param name="namespacePrefix">命名空间</param> Dictionary<string, string><param name="sheetNameShiftDic">映射表</param>
基于SSM++jsp的在线医疗服务系统（免费提供全套java开源毕业设计源码+数据库+开题报告+论文+ppt+使用说明）
06-25
网络技术和计算机技术发展至今，已经拥有了深厚的理论基础，并在现实中进行了充分运用，尤其是基于计算机运行的软件更是受到各界的关注。加上现在人们已经步入信息时代，所以对于信息的宣传和管理就很关键。因此医疗服务信息的管理计算机化，系统化是必要的。设计开发在线医疗服务系统不仅会节约人力和管理成本，还会安全保存庞大的数据量，对于医疗服务信息的维护和检索也不需要花费很多时间，非常的便利。 在线医疗服务系统是在MySQL中建立数据表保存信息，运用SSM框架和Java语言编写。并按照软件设计开发流程进行设计实现。系统具备友好性且功能完善。管理员管理医生，药品，预约挂号，购买订单以及用户病例等信息。医生管理坐诊信息，审核预约挂号，管理用户病例。用户查看医生坐诊，对医生预约挂号，在线购买药品。 在线医疗服务系统在让医疗服务信息规范化的同时，也能及时通过数据输入的有效性规则检测出错误数据，让数据的录入达到准确性的目的，进而提升在线医疗服务系统提供的数据的可靠性，让系统数据的错误率降至最低。 关键词：在线医疗服务系统；MySQL；SSM框架
智能制造与数字化工厂.pptx
06-25
智能制造与数字化工厂.pptx
第一章-计算机中文信息处理技术概述ppt课件.ppt
11-19
第一章-计算机中文信息处理技术概述ppt课件.ppt

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值