weixin_43909872的博客

下午看了半天这个玩意，翻了好几篇文章都感觉很跳跃，最后结合着看终于看明白了。。。赶紧记录下来，省的以后又忘了。。。直观理解先上个wiki里的定义：In statistics, maximum likelihood estimation (MLE) is a method of estimating the parameters of a statistical model, given ...

这两天在重温概率论，发现以前学得挺粗糙的，竟然第一次知道概率论里还有频率派和贝叶斯派之分。。。代表就是MLE和MAP两种概率估计的方法频率派 vs 贝叶斯派在概率估计或者机器学习里的参数估计上，有两个方法，MLE（最大似然估计） 和MAP（最大后验估计），其实代表了概率论里的两个派别，频率派和贝叶斯派往大里说，这两个派别代表了不同的世界观。频率派认为参数是客观存在不会改变的，虽然未知，但...

信息熵（Information Entropy）所谓熵也就是信息的不确定性，也就是混乱程度，举个例子便于理解。我们玩一个大转盘，有32个格子，分别标了1-32的数字，格子大小都一样，那么转动以后每个格子被指针指到的概率也是一样的。那么在转盘转动之前我们要下注的话就很纠结了，随便下哪一个都一样。这时候整个系统的信息是非常混乱无序的。我现在转好了让你猜是哪个数字，你会怎么猜？我会问，是1-1...