机器学习
文章平均质量分 84
我是一个小透明
这个作者很懒,什么都没留下…
展开
-
交叉熵损失函数
交叉熵损失函数是我们在机器学习分类任务中用的最多的损失函数,但是真正了解交叉熵损失需要理解它背后的信息论知识。信息量一条信息的信息量和它的不确定性有着直接的关系。如果我们要搞清楚一件非常不确定的事,就需要大量信息。相反,如果我们对这件事情已经有很多了解,那么就不需要很多信息。信息奠基人香农认为“信息是用来消除随机不确定的东西”,信息量就等于不确定性的多少。举个例子,假如在一场狼人杀游戏中,1号玩家有50%的概率是平民,有50%是狼人,我想知道1号玩家的身份,就需要询问预言家。如果预言家告诉我1号是狼人原创 2021-06-10 15:53:11 · 289 阅读 · 0 评论 -
最大似然估计和最大后验估计
学习机器学习了好几年,好多概念也是学了就忘,MAP和MLE之间的关系也一直没搞清楚。这段时间终于可以静下心来好好理解,趁着还没忘,赶紧写下来。两大学派——频率学派 vs 贝叶斯学派频率学派——最大似然估计 Maximum Likelihood Estimation (MLE)贝叶斯学派——最大后验估计 Maximum A Posteriori (MAP)问题定义假设有一组独立同分布 i.i.d 的随机变量 X∼P(X∣θ)X\sim P(X|\theta)X∼P(X∣θ) ,服从概率分布P,参数为原创 2021-06-11 10:36:05 · 447 阅读 · 0 评论