从最大熵模型看logistic回归与softmax回归
关于李航一书中看到的最大熵模型,一开始从原理上的理解就开始不懂了,查了资料后总结了一些自认为能说服我的解释:
1.最大熵模型的实质与原理?为什么要挑选熵最大的模型?
最大熵原理是1957年由E.T.Jaynes提出的,其主要思想是,在只掌握关于未知分布的部分知识时,应该选取符合这些知识但熵值最大的概率分布。其实质就是,在已知部分知识的前提下,关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断,这是我们可以作出的唯一不偏不倚的选择,任何其它的选择都意味着我们增加了其它的约束和假设,这些约束和假设根
原创
2020-11-28 09:05:35 ·
364 阅读 ·
0 评论