机器学习中的数学（中）

继上篇博文《机器学习中的数学（上）》，下面更新概率论中的问题：

3、概率问题

  这一部分，我们简要说明一些概率论的基本概念。

3.1 概率（Probability）

  概率空间是一个由三个部分组成的三元组：一个样本空间，一个事件集和一个概率分布。

• 样本空间$\Omega$：一次试验中所有基本事件或可能输出结果的集合。
• 事件集$\mathcal{F}$：样本空间中的一个子集。
• 概率分布：$\mathbb{P}$是将所有事件$\mathcal{F}$的集合映射到$[0,1]$，即$\mathbb{P}[\Omega ]=1$，$\mathbb{P}[\varnothing ]=0$。对所有互斥事件$A_1,\cdots ,A_n$，
  $$\mathbb{P}[A_1\cup \cdots \cup A_n]=\sum _{i=1}^n\mathbb{P}[A_i].$$

3.2 随机事件（Random variables）

定义3.1：随机变量（Random variables） 随机变量$X$是一个这样的函数：样本空间$\Omega \to \mathbb{R}$是可测量的，也就是对任何区间$I$，样本空间 { ω ∈ Ω : X ( ω ) ∈ I } \{\omega\in\Omega:X(\omega)\in I\} { ω∈Ω:X(ω)∈I}的子集是一个事件。

  一个具体随机变量$X$的概率密度函数 定义为$x\mapsto \mathbb{P}[X=x]$。联合概率密度函数定义为两个变量$X,Y$，$(x,y)\mapsto \mathbb{P}[X=x\wedge Y=y]$。

  当一个概率分布允许有一个概率密度函数时，我们就说它是绝对连续的，也就是说对所有的$a,b\in \mathbb{R}$与实值随机变量$X$相关的函数$f$满足

$$\mathbb{P}[a\le X\le b]={\int }_a^{b}f(x)dx.$$

定义3.2：二项分布（Binomial distribution） 如果对任意的 k ∈ { 0 , 1 , ⋯   , n } k\in\{0,1,\cdots,n\} k∈{ 0,1,⋯,n}，随机变量$X$服从$n\in \mathbb{N}$和$p\in [0,1]$的二项分布$B(n,p)$，则有

$$\mathbb{P}[X=k]=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}.$$

定义3.3：正态分布（Normal distribution） 如果随机变量$X$满足如下方程，则$X$服从$\sigma >0$和$\mu \in \mathbb{R}$的正态（高斯）分布$N(\mu ,{\sigma }^2)$，

$$f(x)=$$