ac17407的专栏

翻译 初步了解Renyi熵

最近接触了Renyi熵，发现这东西原来是香农熵的祖宗。相信一部分信息专业的学生在学信息论时只涉及了香农熵，然而，香农熵只是Renyi熵系列中的一种熵。下文翻译自wikipedia，提供了关于Renyi熵一个直观的认识。在信息论中，Renyi系列熵包括香农熵，Hartley熵，最小熵和冲突熵。熵量化了一个系统的多样性，不确定性或者随机性。Renyi熵由Alfred Renyi的名字命名。