本文介绍了信息论的基础知识，强调其在机器学习和网络安全中的重要性。信息论量化了信号中的信息含量，对于处理连续形变的事件特别有用。文章通过例子解释了信息量与事件概率的关系，并探讨了自信息、香农熵、微分熵、KL散度和交叉熵等概念。这些理论在AI生成语句时起到关键作用，帮助选择合适的结果输出。
信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化，最初是用于研究在一个含有噪声的信道上用离散字母表来发送消息，例如通过无线电来传输通信。
什么叫应用数学？高中至大学时期的一些数学公式微积分都是纯粹的数学公式，应用数学是将数学的式函数应用在我们的实际的生活中解决我们现实中的问题。
在机器学习中，信息论被应用在连续的形变量上。
如果一个事件是连续的，有一定的形变，通过信息论的一些理论知识公式我们可以从中提取到一些信息，在机器学习中是比较重要的。
信息论的基本论调：一个不太可能的事件发生需要比一个非常可能的事件发生，产生更多的信息。
一个不太可能的事件要发生的时候，它是需要很多复杂因素的构成，一个经常发生的事件就不太需要很多非常复杂的构成。比如住在沿海地区的朋友，会碰到台风，台风一年有几回，台风需要在海洋上会积累大量的能量，形成低压气旋，往我们的沿海地区高速的移动，这个时候大家就遇到了台风。但是在海面上随便吹的那种海风，你随便到海边都可以感受的到的，就是一个经常可以发生的事件，不需要积累能量随随便便就可以发生，所以它信息论的基本论调是与我们生活中的现象是相互符合的。
下面几句话中哪一句话容易引起你的注意：
今天白天 今天白天是晴天 今天白天是晴天，但会伴有微风 今天白天是晴天，但会伴有舒适的微风，黄昏时分风就停了。
今天白天是晴天，但会伴有舒适的微风，黄昏时分风就停了，夜间可能会有点凉。
今天白天是晴天，但会伴有舒适的微风，黄昏时分时分风就停了，夜间可能会有点凉&#x
最低0.47元/天 解锁文章
585
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
