上机器学习与内容安全的时候,老师问了个问题:
上图后两个例子,当协方差矩阵 Σ \Sigma Σ的反/副对角线不为0时候,为啥图像会沿着某个角度压缩?
下面是我的一些思考🤔,不确定是不是严谨,在这里做记录,记下我的思考过程。
以上是老师提供的吴恩达cs229-notes2讲义的截图(红色的是我的一些笔记),对概率密度函数整理,得:
p ( x ; μ , Σ ) = 1 2 π ⋅ ∣ z ∣ ⋅ e ( x − μ ) T ⋅ Σ − 1 ( x − μ ) p(x ; \mu, \Sigma)=\frac{1}{\sqrt{2\pi} \cdot \sqrt{|z|} \cdot \sqrt{e^{
{(x-\mu)^T} \cdot \Sigma^{-1}(x-\mu)}}} p(x;μ,Σ)=2π⋅∣z∣⋅e(x−μ)T⋅Σ−1(x−μ)1
为了方便理解,用2元/变量来解释,即特征数为2
令:
x ⃗ = [ x 1 x 2 ] u ⃗ = [ u 1 u 2 ] Σ = [ a b c d ] \vec{x}=\left[\begin{array}{l}x_{1} \\ x_{2}\end{array}\right] \quad \vec{u}=\left[\begin{array}{l}u_{1} \\ u_{2}\end{array}\right] \quad \Sigma=\left[\begin{array}{ll}a & b \\ c & d\end{array}\right] x=[x1x2]u=[u1u2]Σ=[acbd]
由求逆方法易得:
Σ − 1 = ( a b c d ) − 1 = 1 a d − b c ( d − b − c a ) \Sigma ^{-1} = \left(\begin{array}{ll}a & b \\ c & d\end{array}\right)^{-1}=\frac{1}{a d-b c}\left(\begin{array}{cc}d & -b \\ -c & a\end{array}\right) Σ−1=(acbd)−1=