大厨也爱搞研究的博客

最近在啃PRML这本书，打算把它好好看几篇。今天就先从概率分布中最简单的二项分布开始。2.1 伯努利分布  有一个硬币，其正面朝上的概率（x = 1）记作参数µ，因此: f(x= 1 |µ) =µ,f(x= 0 | µ) = 1 − µ.x的概率分布因此可以写成：这被叫做伯努利分布（ Bernoulli distribution).     1.伯努利分

1. 概率密度建模的参数化（ parametric）⽅法 前面介绍的概率分布都有具体的函数形式，并且由少量的参数控制，这些参数的值可以由数据集确定。这被称为概率密度建模的参数化（ parametric）⽅法。这种⽅法的⼀个重要局限性是选择的概率密度函数可能对于⽣成数据来说是⼀个很差的模型，从⽽会导致相当差的预测表现。这一部分，考虑⼀些⾮参数化⽅法进⾏概率密度估计。 2. 直方图方法 直⽅图方法

这一部分完全看不懂，数学功力不够，先占个位子，以后回来再补上。

1.多项分布的一次事件 随机变量X有三种取值x1，x2，x3，那么用一个三维向量表示多项式的取值就是{1,0,0}，{0,1,0}，{0,0,1}分别代表选中x1，x2，x3，即必须选中一个，同时只能选一个。如果用μk表示xk=1时的概率，那么对于随机变量x的取值的概率分布可以表示为： 上面所讲的这些其实只是多项分布的一次事件（或一次观察），如果有N多次观察，那么就需要用多项分布来描述了。就

学习Beta分布之前，先补充一下几个相关的基础知识。 1. 共轭分布 如果后验分布和先验分布具有相同的函数形式，则先验和后验叫做共轭分布，并且先验叫做似然的共轭先验。 2. 超参数 当参数为随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数（超参数控制了参数的概率分布），在贝叶斯方法中出现的比较多。 3. Beta分布引入 现

狄利克雷分布的引入 Beta分布是二项式分布的共轭先验分布，狄利克雷分布是多项分布的共轭先验分布。Dirichlet分布可以看做是分布之上的分布。如何理解这句话，我们可以先举个例子：假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次，如果用每一面出现的次