该博客介绍了如何计算中文信息熵，引用了Shannon的相关理论，并探讨了条件信息熵。实验使用jieba分词系统进行中文分词，进行了语料预处理，统计了一元模型词频，最终得出中文信息熵为10.613比特/词。
深度学习与自然语言处理：中文信息熵的计算
实验题目
首先阅读
An Estimate of an Upper Bound for the
Entropy of English
来计算所提供数据库中文的平均信息熵
实验内容
信息熵
1948年，为了解决信息量化的问题，香农从热力学中借用了热熵的概念提出了“信息熵”的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。
H ( X ) ≡ H ( P ) ≡ − E P log P ( X 0 ∣ X − 1 , X − 2 , … ) H(X) \equiv H(P) \equiv-E_{P} \log P\left(X_{0} \mid X_{-1}, X_{-2}, \ldots\right) H(X)≡H(P)≡−EPlogP(X0∣X−1,X−2,…)
其中 X X X为平稳马尔可夫过程， P P P代表 X X X的概率分布，
最低0.47元/天 解锁文章
扫一扫
2773
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
