【机器学习】先验概率、似然函数、后验概率、对数似然函数等概念的理解

1）先验：统计历史上的经验而知当下发生的概率；

2）后验：当下由果及因的概率；

2、似然和概率：

3、网上有个例子说的透彻：（主观理解）

1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；

2）似然——看到了某种结果，对产生结果的原因作出假设：是刮风了？还是有乌云？还是现在是上午十二点？（每一个伴随此结果的，都是可能导致此结果的原因）我们现在计算的就是P(θi|X)，已知X，求每一个θi对应的概率。显然，“乌云”的概率远大于“上午十二点”。下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述；

3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（结果）的概率；

后验 ~ 先验*似然（后验正比于先验与似然的乘积） ： 存在下雨的可能（先验），下雨之前会有乌云（似然）~ 通过现在有乌云推断下雨概率（后验）；

一些帮助主观理解的例子：

先验概率可理解为统计概率，后验概率可理解为“参数”条件概率。

---

设定背景：酒至半酣,忽阴云漠漠,骤雨将至。

情景一：
“天不会下雨的，历史上这里下雨的概率是20%”----先验概率
“阴云漠漠时，下雨的概率是80%”----后验概率

情景二：
“飞飞别急着走啊，历史上酒桌上死人的概率只有5%“----先验概率
”他是曹操啊，梦里都杀人“----后验概率

情景三：
“她的车技不好，坐她的车我们很危险”----先验概率
“她喝了酒开车，太危险了”----后验概率

情景三是想说明：已知的参数并不一定会“反转”先验概率，也并不一定会“support”先验概率，甚至不一定会改变先验概率（比如，已知参数是她的车顶上有鸟屎，那么已知参数的影响趋于0）。

情景四：
新疆的西瓜好吃—先验概率
这个新疆的西瓜并没有熟，它肯定不好吃—后验概率

从数学角度理解一下似然函数：
现有一个数据集，只有正负两类，要用一个超平面将他分类，求出这个超平面，超平面的参数为w（向量）和b。
w和b的任意取值构成的每一个超平面都是假设空间的元素，都可能是我们需要的模型，每一个超平面都有一个对应的似然函数，其值代表了这个超平面是我们要的模型的可能性，在几组超平面中，似然函数大的超平面比似然函数小的超平面更能解释现有的数据集（更符合现有数据集的特征），说明这组w和b的取值对应的超平面越符合我们的需求，越能正确地将数据集（这里是指训练集）分类，这里的似然函数就可以是分类准确率，但是分类准确率不方便我们将函数最优化，故而，我们将似然函数用每一点到超平面的距离来表示，那么就舒服了。将似然函数最优化的结果就是最优的参数取值的结果。
另：

作者：wuyijian_ml
来源：CSDN
原文：https://blog.csdn.net/wyq_wyj/article/details/79485618
版权声明：本文为博主原创文章，转载请附上博文链接！

REFERENCE：
作者：fjssharpsword
来源：CSDN
原文：https://blog.csdn.net/fjssharpsword/article/details/72356277
版权声明：本文为博主原创文章，转载请附上博文链接！