数学的记号（notation）

记号让数学更简洁，表达能力更强。数学的进化史，就是符号的进化史。

• $\cdot\|\cdot$：表示的是 KL 距离；
• $f_j^{(i)}$：上标之所以加括号，显然是将其与指数（exponent）做区分，上标的 $(i)$ 一般表示的样本序号；
  
  • 至于 $j$，如果 $f$ 为矩阵的话，$j$ 可以表示其每一行；
  • $f_j^{(i)}$ 就可以表示，第 $i$ 个样本的第 $j$ 行的行向量；

0. 变量的读法

• $\tilde x$：xtilde；（tilde，就表示波浪线）；
• $\bar x$：xbar；

1. 下标

我们说 $d$ 维的数据，其维度索引分别为：$1, 2, \cdots,d$，如果从中随机抽 $d'$，下标索引是什么呢？

必然不是有顺序的 $1, 2, \cdots, d'$，有顺序就无法体现随机性了，而是再引入一个记号 $i$：

$$i_1,i_2,\cdots,i_{d'}$$

2. 特别的含义

• 集合的冒号（$:$）

  $\Theta(g(n))=\{f(n):$ 存在正常量 $c_1, c_2$ 和 $n_0$，使得对所有 $n\geq n_0$，有 $0\leq c_1g(n)\leq f(n)\leq c_2g(n)$ $\}$

  这里集合表示中的冒号的含义即为：使得，满足的所有xx的集合；

3. k-means

$$\mathcal L=\sum_{i=0}^{k-1}\sum_{\mathbf{x}\in C_i}D(\mathbf x,\mathbf {\mu}_i)$$
再来看一套更为简洁的记号：
$$\mathcal L=\sum_{i=0}^{n-1}D(\mathbf x_i,\mathbf{\mu}_{\gamma_i})$$

$\gamma_i$ 表示的是 $\mathbf{x}_i$ 的所属类别（Cluster membership）

随机选择 $k$ 个聚类中心，$\mathbf{\mu}_0^{(0)},\mathbf{\mu}_1^{(0)},\cdots,\mathbf{\mu}_{k-1}^{(0)}$，kmeans 算法对样本所属类别（Cluster membership）的更新如下：

$$\gamma_i^0=\underset{0\leq j\leq k-1}{\arg\min}\;D(\mathbf{x}_i,\mathbf{\mu}_j^{(0)})$$
类别中心的更新如下：
$$\mathbf{\mu}_j^{(0)}=\frac 1{|\{i:\gamma_i^{(0)}=j\}|}\sum_{i=0,\gamma_i^{(0)}=j}^{n-1}\mathbf{x}_i$$

4. 下标的理解

我们来看大名鼎鼎的K-SVD算法：

已知维度关系：$Y_{n\times N}=D_{n\times K}X_{K\times N}$，则$\omega_k=\{i|\;1\leq i\leq N,\;\textrm x_T^k(i)\neq0\}$，表示的是遍历全部样本$\{y_i\}_{i=1}^N$对应的在 $D$ 下的稀疏表示 $\{x_i\}_{i=1}^N$（$1\leq i\leq N$），它们的长度为 $K\times 1$，在第 $k$ 个上是否显著为0，如果不是则该样本 $y_i$的稀疏表示形式 $x_i$对应的下标 $i$，加入 $\omega_k$中。也即 $\omega_w$收集的是样本 $y_i$的稀疏表示版本 $x_i$，只不过要求该稀疏表示的第 $k$个元素（entry）不显著为0.
所以，如算法中介绍的那样，Define the group of examples that use this atom (k-th atom in $D_{n\times K}$)