信息论学习笔记
Devil丶LY
一个兴趣使然的程序猿~
展开
-
【机器学习】信息熵的理解
信息量 信息量是衡量信息多少的度量,是对信息不确定性大小的测量,一个事物的不确定性越大,则其携带的信息就越多,其信息量也就越大,相反,一个事物的不确定性越小,则其携带的信息就越少,其信息量也就越少。举个例子 “太阳从东边升起”,这是一件我们十分确定的事情,就算它发生了,我们也不能从其中提取出对我们有什么用的信息,所以它的信息量为0。 “太阳从西边升起”,这是一件几乎不可能的事情,一旦...原创 2019-11-05 13:34:51 · 423 阅读 · 0 评论 -
【信息论】离散信息源
1、离散信息源定义一类信源输出的消息常常以一个个符号的形式,例如文字、字母等,这些符号的取值是有限个的或可数的,这样的信源称为离散信源。2、离散信息源{a1,a2,⋯ ,an}\begin{Bmatrix}a_{1},a_{2},\cdots,a_{n}\end{Bmatrix}{a1,a2,⋯,an}3、单符号离散信源数学模型[xp(x)]=[...原创 2018-12-13 23:04:58 · 1771 阅读 · 0 评论