贝叶斯公式=贝叶斯定理
贝叶斯公式到底想说啥
贝叶斯公式就是想用概率数学来表示事件发生依赖关系。
贝叶斯公式长下面这样:
用图形怎么表示贝叶斯公式
P(X=x)P(X=x)P(X=x)就是X的面积。
P(Y=y)P(Y=y)P(Y=y)就是Y的面积。
P(X=x∣Y=y)P(X=x|Y=y)P(X=x∣Y=y)是什么?P(X=x∣Y=y)P(X=x|Y=y)P(X=x∣Y=y)是指Y发生的情况下X发生的概率。用图形表示就是,只看Y的情况下Y里面的X占比多少。这不就是相交部分除以Y的面积么?相交部分计算方式=X的面积*相交部分占X的比率。
再看看前面的公式就完全能理解了。
贝叶斯公式在机器学习中有什么用?
答:用于参数估计。机器学习做的事情其实就是找到一个概率分布函数,输入一个数据输出是这个数据属于某个类的概率。
那么怎么找这个概率分布函数呢?一般是默认是高斯分布。
假设样本的概率分布是高斯分布。高斯分布长下面这样,有两个参数u和σu和\sigmau和σ。贝叶斯公式就是用来估计这两个参数。
那么贝叶斯公式怎么估计这两个参数你呢?将u和σu和\sigmau和σ记作为θ\thetaθ。也就是说我们需要估计θ\thetaθ的值是多少。
其中P(X=x∣θ=θ^)==fθ^(x)P(X=x|\theta=\hat {\theta})==f_{\hat \theta}(x)P(X=x∣θ=θ^)==fθ^(x)。上面那个公式的意思就是说,θ\thetaθ有很多很多取值,θ^\hat \thetaθ^是其中一个。那么怎么知道哪个最好呢?计算θ^\hat \thetaθ^是X的最好参数的可能性P(θ=θ^∣X=x)P(\theta = \hat \theta |X=x)P(θ=θ^∣X=x),哪个可能性最大就选哪个参数。这就是极大似然法。,极大似然法就是现有有多个可能的参数取值,我不知道取哪个最好。为了知道取哪个最好。我要计算出各个参数为优参数的可能性。然后将可能性最大的那个参数作为目前的概率分布函数最优参数。
那假如θ\thetaθ取值无限种情况呢?
θ\thetaθ取值无限的情况下,需要用梯度下降优化极大似然法这个等式.下面这个等式。不懂梯度下降可以看看这两篇文章:
https://www.zhihu.com/question/305638940/answer/670034343
https://blog.csdn.net/varyshare/article/details/89556131