信息论在人工智能方面应用

香农三大定理与新社会人工智能发展的羁绊：

克劳德·艾尔伍德·香农(Claude Elwood Shannon，1916年4月30日-2001年2月24日)是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位 。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。

香农提出了信息熵的概念，为信息论和数字通信奠定了基础。

 主要论文有:1938年的硕士论文《A Symbolic Analysis of Relay and Switching Circuits》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。

 

信息论概述

　　信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

　　信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：

　　狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；

　　广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。

　　信息是事物及其属性标识的集合

　　信息就是信息，信息是物质、能量、信息及其属性的标示。

　　信息是确定性的增加。即肯定性的确认。

信息论形成和发展

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立 ，将为科学技术的发展作出贡献。

信息论的应用