熵——信息量
最大熵——使信息量最大
如何使信息量最大,对未知情况不要做任何主观的假设,预测应该满足全部已知的条件——不要把鸡蛋都放在一个篮子里。
香农将得主希萨证明,对于任何一组不自相矛盾的信息,最大熵存在且唯一——指数函数。(不会敲公式T_T)
应用:自然语言处理,金融。如词性标注(名词、动词、形容词等)和句法分析(主谓宾句子成分)。证券交易股票债券等等
熵——信息量
最大熵——使信息量最大
如何使信息量最大,对未知情况不要做任何主观的假设,预测应该满足全部已知的条件——不要把鸡蛋都放在一个篮子里。
香农将得主希萨证明,对于任何一组不自相矛盾的信息,最大熵存在且唯一——指数函数。(不会敲公式T_T)
应用:自然语言处理,金融。如词性标注(名词、动词、形容词等)和句法分析(主谓宾句子成分)。证券交易股票债券等等