信息熵与信息差-信息差的数学原理
文章平均质量分 91
AI生成曾小健
AI生成式技术,计算机博士;这个博客的主题主要是AI生成式技术、AI相关技术、机器/深度学习论文或科研前沿、GNN图神经网络、神经网络,包括人工神经网络和生物神经网络,及其大脑演化,智能和认知的产生,通用人工智能;
如果需要看商科/金融相关的请移步CSDN: 量化交易曾小健(金融号)
展开
-
智能的本质--信息的无损压缩
ChatGPT的成功,关键点不在于其庞大的训练数据,而在于其模型算法,对如此庞大的海量数据,依然实现了最高的无损压缩。从人类认知的过程来看,观察收集数据--归纳抽象--泛化运用的过程就是一个信息的无损压缩过程,因此,寻找更好的信息无损压缩算法,也许就是人工智能迈向更高级阶段的最佳方案。原创 2023-08-15 13:38:16 · 174 阅读 · 0 评论 -
信息熵与信息差
(Conditional Entropy),顾名思义,是以条件机率�(�|�)定义的典型集的机率大约为1,所以只需要将属于典型集的无记忆�。其直观意义如下:假如接收一段数列{�1,�2,...,��}可以再对联合熵与条件熵的关系做推广,假设现在有�。其中S(X)为热力学熵,H(X)为信息熵,��。在统计物理学中对熵的工作,启发了信息论的熵。互为独立,则�(�,�)=�(�)+�(�)后总讯息量为�(�1)+�(�2|�1)后,总讯息量应为�(�1,...,��),有�(�,�)=�(�|�)�(�)原创 2023-08-10 11:51:12 · 85 阅读 · 0 评论