CS229 Lecture 15

CS229 Lecture 15

---

Laten Semitic Indexing(LSI)
Singular Value Decomposition(SVD)
Independent Component Analysis(ICA)

---

回顾PCA步骤：

1. 将数据标准化(Normalize)保证均值为零,方差为一。
2. $\Sigma =\frac{1}{m}{\sum }_1^m{x}^{(i)}{x}^{(i)T}$
3. 找到$\Sigma$前$k$个最主要的特征向量

如果图片的大小是$100\times 100$那么一个图片样本的大小就是10000维，那么$\Sigma$的大小是$10000\times 10000$,矩阵过大，实际计难度以及计算量都很大

---

潜在语义索引(LSI)

一封邮件的内容如下表示，其中每个维度与一个单词对应，1表示邮件中存在该单词，否则为0。

$\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right]\begin{array}{c}a\\ and\\ ⋮\\ z\end{array}$

当对文本应用PCA时产生了另一种算法$LSI$，在$LSI$中一般会跳过预处理的步骤，即不需要使得均值为零，方差为一。(ng的解释是如果使得方差为1，可能会加大不常出现单词的权重)。

一般给两个文本$x^{(i)}$和$x^{(j)}$来比较两者的相似性，这也是新闻分类常见的操作。

对于$x^{(i)}$和$x^{(j)}$,两个向量的相似性可以通过向量间的夹角来判断，即:$Sim(x^{(i)},x^{(j)})=cos\theta =\frac{x^{(i)}{x}^{(j)T}}{\Vert x^{(i)}\Vert \Vert x^{(j)}\Vert }$。由于邮件文本的单词集合很大，即$x$的维度很高，容易有噪声，不易探究数据的本质。通过PCA对数据进行降维力求减少数据中的噪声更好的计算数据间的相似性。

相似性式子的分子

x ( i ) x ( j ) T = ∑ k x k ( i ) x k ( j ) = ∑ k 1 { 文 件 i 和 j 是 否 都 包 含 单 词 k } x^{(i)}x^{(j)T}=\sum_kx_k^{(i)}x_k^{(j)}=\sum_k1\{文件i和j是否都包含单词k\} x(i)x(j)T=k∑​xk(i)​xk(j)​=k∑​1{文件i和j是否都包含单词k}

如果文本$i$中包含"study"文本$j$中包含$learn$,如果如上单纯计算两个词之间毫无关联。但这与实际并不相符。

上图中虽然两个词在原始空间毫无关联，但是投影到子空间，其之间的就可以存在联系，模型就可以学会两者之间的关联。

---

SVD

$A=UD{V}^T$这个公式就是SVD,如果$A$是$n\times n$那么$UDV$三个矩阵均为$n\times n$，且$D=\left[\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & & \\ & & \ddots & & \\ & & & {\sigma }_{n-1}& \\ & & & & {\sigma }_n\end{array}\right]$是对角阵。其中${\sigma }_i$是矩阵$A$的奇异值。$U$的列向量是$A{A}^T$的特征向量，而矩阵$V$的列向量是$A^{T}A$的特征向量。

在前面定义的$\Sigma ={\sum }_{i=1}^m{x}^{(i)}{x}^{(i)T}$,可以写为$\Sigma =X^{T}X$。这里的$X=\left[\begin{array}{ccc}--& x_1& --\\ --& x_2& --\\ & ⋮& \\ --& x_m& --\end{array}\right]$

$X=UD{V}^T$其中矩阵$V$的前$k$列实际上是$\Sigma =X^{T}X$的前$k$个特征向量。

---

关于无监督学习的使用

	model p(x)	not probabilty
subspace	Factor Analysis	PCA
clumps/group	mixture of Guassian	K-means

---

CDF(accumulative distribution function)

CDF累积分布函数被定义为:如果随机变量$s$服从分布$P(s)$,那么$F(s)=P(S\le s)$就叫累积函数。

上图中$s$服从高斯分布，其$F(0.8)$等于高斯分布中小于0.8的概率密度的积分。即$F(s)={\int }_{-\infty }^s{P}_s(t)dt$。我们知道概率密度函数的积分上限就是1.

---

ICA

鸡尾酒会问题，在酒会上有$n$个演讲者，同时有$n$个麦克风记录这些声音。$s\in R^n$其中$s_j^{(i)}$表示第$j$位演讲者在时刻$i$发出的声音信号。

我们观察到$x^{(i)}=A{s}^{(i)}{x}^{(i)}\in R^n$，其中$x$是$n$个话筒收集到的信号。

例如 $x_j^{(i)}={\sum }_k{A}_{jk}{s}_k^{(i)}$

我们的目标是通过叠加的信号还原出各个演讲者的声音。即找到$W=A^{-1}$以至于$s^{(i)}=W{x}^{(i)}$。$W=\left[\begin{array}{ccc}--& w_1^T& --\\ --& w_2^T& --\\ & ⋮& \\ --& w_n^T& --\end{array}\right]$,这其中每一行实际上是对应了一个演讲者的角色，根据对各个话筒信号的线性组合，还原出演讲者$i$的声音信号。

---

在ICA存在不确定性(Ambiguities):

1. 顺序不确定：还原出来的声音我们并不知道那个声音是那个演讲者的。
2. 声音信号不确定：由于$W$和$s$都是未知的，因此我们想推测出$s$那么必然$s$的大小范围存在不确定性，只有$W$和$s$同步变化既可以保证$s=Wx$。因此无法确定信号的符号与大小。

并且如果$x$的概率分布是高斯分布，也不适合用ICA来进行处理。

---

源信号$s\in R^n$,$s$的密度函数为$p_s(S)$，由于$x=As=W^{-1}s$而$s=Wx$,有$p_x(X)=p_s(wx)|W|$。

例如： p s ( S ) = 1       { 0 ≤ x ≤ 1 } p_s(S)=1\,\,\,\,\,\{0\leq x \leq 1\} ps​(S)=1{0≤x≤1}即$S$服从0到1的均匀分布，让$x=2s$,即这里$A=2$,$W=\frac{1}{2}$，那么 P x ( x ) = 1 2       { 0 ≤ x ≤ 2 } P_x(x)=\frac{1}{2} \,\,\,\,\,\{0\leq x\leq 2\} Px​(x)=21​{0≤x≤2}

---

ICA model

$p(S)={\prod }_{i=1}^m{p}_s(s_i)$,其中s是独立的

$p(x)=[{\prod }_{i=1}^{m}p(w_i^{T}x)]|W|$

如何选择$p_x(S)$？ 一般选择其累积分布函数为$F(s)=\frac{1}{1+e^{-s}}$,自然$p_s(s)=F^{{}^{\prime }}(s)$,同样$p(s)=\frac{1}{2}{e}^{-|s|}$这种拉普拉斯公式也较为常用，但是此处不能用高斯分布的密度函数。

给定样本 { x ( 1 ) , x ( 2 ) , ⋯ x ( m ) } \{x^{(1)},x^{(2)},\cdots x^{(m)}\} {x(1),x(2),⋯x(m)},其最大似然函数为:

$$L(W)=\sum _{i=1}log(\prod _{j=1}{p}_s(w_j^T{x}^{(i)}))|W|$$

使用随机梯度下降对$W$求导可以得到：

${▽}_W(W)=\left[\begin{array}{c}1-2g(w_1^{T}x)\\ 1-2g(w_2^{T}x)\\ ⋮\\ 1-2g(w_n^{T}x)\end{array}\right]+(W^T{)}^{-1}$

$W$的更新公式为：

$W:=W+\alpha \left(\begin{array}{c}\left[\begin{array}{c}1-2g(w_1^{T}x)\\ 1-2g(w_2^{T}x)\\ ⋮\\ 1-2g(w_n^{T}x)\end{array}\right]+(W^T{)}^{-1}\end{array}\right)$

$s^{(i)}=W^{(i)}{x}_i$