信息是什么？
百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。
信息可不可以被量化，怎样量化？
一条信息的信息量大小和它的不确定性有直接的关系，信息量的度量就等于不确定性的多少
熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)
信息熵”香农(Shannon)《通信的数学原理》论文中指出：“信息是用来消除随机不确定性的东西”，并提出了“信息熵”的概念。
通俗解释：
你是你爸和你妈孕育的， 这符合事实， 信息熵就很低
你不是你爸和你妈孕育的， 信息量就很大， 不确定性就很高， 信息熵就比较高
变量的不确定性越大，熵就越大
什么是信息量？
假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x的信息量为：
I(x)=−logp(x)
举个例子，小明平时不爱学习，考试经常不及格，而小王是个勤奋学习的好学生，经常得满分，所以我们可以做如下假设：
事件A： 小明考试及格，对应的概率P(xA)=0.1
信息量为： I(xA)=−log(0.1)=3.3219
事件B： 小王考试及格，对应的概率P(xB)=0.999
信息量为： I(xB)=−log(0.999)=0.0014
如果我们有两个不相关的事件 xx 和 yy，那么观察两个事件同时发生时获得的信息量应该等于观察到事件各自发生时获得的信息之和，即：
I(x,y)=I(x)+I(y)
信息熵的定义:
现在假设一个发送者想传送一个随机变量的值给接收者。那么在这个过程中，他们传输的平均信息量可以通过求 I(x)=−logp(x) 关于概率分布 p(x) 的期望得到，即：
H(X) 就被称为随机变量 X 的熵,它是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。从公式可得，随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大.
如果X是连续型随机变量，则熵定义为：
信息熵的三个性质：
信息论之父克劳德·香农给出的信息熵的三个性质：
-
单调性，发生概率越高的事件，其携带的信息量越低；
-
非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然；
-
累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和，这也是广度量的一种体现
相对熵(relative entropy)又称为KL散度（Kullback-Leibler divergence），KL距离，是两个随机分布间距离的度量。
设 p(x)、q(x) 是 离散随机变量 X 中取值的两个概率分布，则 p 对 q 的相对熵是：
相对熵性质：
1、如果 p(x) 和 q(x) 两个分布相同，那么相对熵等于0
2、DKL(p||q)≠DKL(q||p) ，相对熵具有不对称性。
3、DKL(p||q)≥0
总结：相对熵可以用来衡量两个概率分布之间的差异，上面公式的意义就是求 p 与 q 之间的对数差在 p 上的期望值
交叉熵 (Cross entropy)
考虑一种情况，对于一个样本集，存在两个概率分布 p(x)和 q(x)，其中 p(x) 为真实分布，q(x))为非真实分布。基于真实分布 p(x)，我们可以计算这个样本集的信息熵也就是编码长度的期望为：
如果我们用非真实分布 q(x)来代表样本集的信息量的话:
因为其中表示信息量的项来自于非真实分布 q(x)，而对其期望值的计算采用的是真实分布 p(x)，所以称其为交叉熵 (Cross Entropy)。
熵的公式:
交叉熵的公式:
所以有：
1: 当用非真实分布 q(x)得到的平均码长比真实分布 p(x)得到的平均码长多出的比特数就是相对熵
2: 当 p(x)=q(x) 时取等号，此时交叉熵等于信息熵
3：
当 H(p) 为常量时（注：
在机器学习中，训练数据分布是固定的），最小化相对熵 DKL(p||q) 等价于最小化交叉熵 H(p,q) 也等价于最大化似然估计. ( 具体参照 二元逻辑回归试一试)
参考：
https://blog.csdn.net/rtygbwwwerr/article/details/50778098
https://www.cnblogs.com/kyrieng/p/8694705.html
https://blog.csdn.net/saltriver/article/details/53056816
本人也是入门选手，不是大牛。不是谦虚，中国人才济济，发自内心自叹不如。不过有一群人无私奉献，写的博客质量真不错。发现通过阅读博客，也能学到很多东西，然后自己再总结。一种新的学习方法！ 内容纯粹是总结学习经验，加深理解。大神，请略过！
316
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
