无监督学习（unsupervised learning） 1.线性方法

无监督学习（unsupervised learning） 1.线性方法

---

1 unspervised learning

• Reduction(化繁为简)：Clustering & Dimension，只有输入
• Generation(无中生有)：只有输出

---

2 Clustering

• How many clusters？

• K-Means：

  • 将$X = \{x_1, x_2, …,x_N \}$聚成K类
  • 随机初始化聚类中心$c_i,i=1,2,…,K$
  • 对每一个$x_n$，计算它离每一个聚类中心的距离$b_n^i$，它离的最近的即为它的类
  • 更新聚类中心：$c_i = \sum \limits_{x_n}b_n^ix_n / \sum\limits_{x_n}b_n^i$
  • 重复以上几步

• Hierarchical Agglomerative Clustering （HAC）

  • step 1：build a tree，两两算相似度，相似度最大的两个合并，重复……
  • step 2：pick a threshold，切分K类

---

3 dimension reduction

• Distributed Representation：每个对象使用一个向量表示，而不仅仅是一个类
• MNIST：描述一个数字不需要28*28的向量
• Feature Selection：

• Principle component analysis（PCA）： $z=Wx$，线性降维

  • 投影得到的z越大越好
  • 投影到d维，$w_1,…,w_d$相互正交，$W = [w_1,…,w_d]$为正交矩阵

  • $z_1 = w_1x, \bar z_1 = w_1 \bar x$

  • $Var(z_1) = \sum\limits_{z_1}(z_1-\bar z_1)^2 = w_1^T\sum(x-\bar x)(x-\bar x)^T w_1 = w_1^TCov(x)w_1 = w_1^TSw_1$

  • 找到$w_1$ 使得 $w_1^TSw_1$达到最大，且$w_1^Tw_1=1$
  • 使用Lagrange multiplier：$g(w_1) = w_1^TSw_1-\alpha (w_1^Tw_1-1)$，求偏导数得$Sw_1 = \alpha w_1$，$w_1$即为S的特征向量。$w_1^TSw_1= \alpha$，$\alpha$即为S的最大的特征值。
  • 找到$w_1$ 使得 $w_1^TSw_1$达到最大，且$w_1^Tw_1=1,w_2^Tw_1=0$
  • ……解得$\beta = 0$，$w_2$是第二大的特征值对应的特征向量。
  • ……
  • $cov(z) = WSW^T = [\lambda_1 e_1,…,\lambda_K e_K ]$

---

4 PCA——another point of view

• $x - \bar x = c_1u_1+…+c_Ku_K = \hat x$
• Reconstruction error：$L = \mathop{min}\limits_{ \{ u_1,…,u_K\}} =\sum||(x-\bar x)- (\sum\limits_{k=1}^Kc_ku_k)||_2$
• SVD分解：$X_{m*n} = U_{m*k}\sum_{k*k} V_{k*n}$
• LDA：考虑labelled data的降维（监督）
• PCA的弱点：1、unsupervised；2、linear
• 需要多少principle components？
  

  计算每个特征值的ratio

---

5 Non-negative matrix factorization

• NMF非负矩阵分解，所有的参数和component均为非负
• minimize error：$X_{M*N}\approx A_{M*K}B_{K*N}$
  
  • $L = \sum\limits_{(i,j)}(r_ir_j-n_{ij})^2$，不考虑缺失的数据
  • 用于推荐系统(Recommender systems)
  • $\rightarrow L = \sum\limits_{(i,j)}(r_ir_j +b_i + b_j - n_{ij})^2$
  • 应用：Latent Semantic Analysis 潜语义分析LSA
  • 应用：Latent Dirichlet allocation 主题模型LDA