【人工智能入门之机器学习决策树的学习(一)】
这是用来度量信息的一个单位(bit),关于如何定量的来描述信息,几千年来都没有人给出很好的解答。直到1948年,香农在他著名的论文“通信的数学原理”中提出了信息熵(information entropy) 的概念,才解决了信息的度量问题,并且量化出信息的作用。又如: 我这里有16个号码,你猜我选的是哪个?这个信息量是巨大的,我们需要通过不同的信息, 如:你喜欢的数字,生日,等等。信息的信息量与他所带来的不确定性有关,如: 我们说我要去西藏,这条信息的不确定性很低,信息熵很小。加个负号,使得熵的值为正数。
复制链接