证明分布越均匀熵越大:有两个二分类样本,第一个样本p1,p2,第二个q1,q2,且p1<q1<q2<p2,证明第2个样本的熵大 。
---来自一道博士的面试题。
分析
其实熵拐了两个弯。熵意思是信息的混乱程度,越混乱,熵越大。分布越均匀,则是越混乱。
思路是求导取极值,而这个极值是极大值,左增右减
大概长这样的
计算求导的过程如下:
0.5是极值点,所以在中间的熵会比较大
大家还有什么思路,欢迎指教 :-D