记号和术语
$X \in R^{N*p} = (x_1, x_2, …, x_N)^T $
x i = ( x i 1 , . . . , x i p ) T x_i = (x_{i1}, ..., x_{ip})^T xi=(xi1,...,xip)T
表示数据共有N个样本,每个样本的维度是p。
iid,即Independent and identically distributed,表示一组随机变量中每个变量的概率分布都相同,且这些随机变量互相独立。
MLE,即maximum likelihood estimation,最大似然估计,用来估计一个概率模型的参数的一种方法。
MAP,即Maximum a posteriori estimation,最大后验概率,考虑了被估计量的先验概率分布。
马氏距离,即Mahalanobis Distance,是一种距离的度量,可以看作是欧氏距离的一种修正,修正了欧式距离中各个维度尺度不一致且相关的问题。
统计与概率
频率派/统计学
p ( x ∣ θ ) p(x|\theta) p(x∣θ) 中的 θ \theta θ是一个常量。假设iid,观测到数据的N个样本来说的概率是 p ( X ∣ θ ) = ∏ i = 1 N p ( x i ∣ θ ) ) p(X|\theta) = \prod_{i=1}^N p(x_i|\theta)) p(X∣θ)=∏i=1Np(xi∣θ))。可以采用MLE逆向求解 θ \theta θ。
θ ∗ = a r g m a x θ l o g p ( X ∣ θ ) = a r g m a x θ ∑ i = 1 N l o g p ( x i ∣ θ ) \theta^* = argmax_{\theta} logp(X|\theta) = argmax_{\theta} \sum_{i=1}^N log p(x_i|\theta) θ∗=argmaxθlogp(X∣θ)=argmaxθ∑i=1Nlogp(xi∣θ)
贝叶斯派/概率学
p ( x ∣ θ ) p(x|\theta) p(x∣θ) 中的 θ \theta θ是一个变量,服从一个先验分布 p ( θ ) p(\theta) p(θ)。依赖数据集参数的后验概率可以写成
p ( θ ∣ X ) = p ( X ∣ θ ) ∗ p ( θ ) / p ( X ) = p ( X ∣ θ ) ∗ p ( θ ) / ∫ θ [ p ( X ∣ θ ) ∗ p ( θ ) ] d θ p(\theta|X) = p(X|\theta)*p(\theta)/p(X) = p(X|\theta)*p(\theta)/\int_{\theta}[p(X|\theta)*p(\theta)]d\theta p(θ∣X)=p(X∣θ)∗p(θ)/p(X)=p(X∣θ)∗p(θ)/∫θ[p(X∣θ)∗p(θ)]dθ
可以用MAP求解 θ \theta θ。
θ ∗ = a r g m a x θ p ( θ ∣ X ) = a r g m a x θ p ( X ∣ θ ) ∗ p ( θ ) \theta^* = argmax_{\theta} p(\theta|X) = argmax_{\theta} p(X|\theta)*p(\theta) θ∗=argmaxθp(θ∣X)=argmaxθp(X∣θ)∗p(θ)
高斯分布
在iid的条件下, x ∼ N ( μ , Σ ) x \sim N(\mu, \Sigma) x∼N(μ,Σ), Σ = σ 2 \Sigma = \sigma^2 Σ=σ2
高斯分布的概率密度函数PDF可以写作 p ( x ∣ μ , Σ ) = 1 / [ ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 ] ∗ e − 0.5 ( x − μ ) T Σ − 1 ( x − μ ) p(x|\mu, \Sigma) = 1/[(2\pi)^{p/2}|\Sigma|^{1/2}] * e^{-0.5(x-\mu)^T \Sigma^{-1}(x-\mu)} p(x∣μ,Σ)=1/[(2π)p/2∣Σ∣1/2]∗e−0.5(x−μ)TΣ−1(x−μ)
缺点
- Σ \Sigma Σ有 p 2 + p 2 \frac {p^2 + p}{2} 2p2+p个参数,对于高维的 x x x计算过于复杂。
- 难以处理多个峰值的数据
一维
此时 p p p = 1,
l o g P ( X ∣ θ )