图像处理与计算机视觉的论文创新点总结

• 创新点的一般方向：
  
  • ⇒ Generalized：泛化
  • fixed ⇒ Adaptive，自适应（自调节）
    
    • local adaptive
  • hard ⇒ soft（threshold）
  • single ⇒ local，individual ⇒ others；
  • ⇒ Marginalized，⇒ Modified：修正的
  • straightforward ⇒ iteration，直接求解，迭代求解；
  • linear ⇒ non-linear，线性 ⇒ 非线性；
• 做距离度量（或者其他运算）时，仅考虑两个样本，而不考虑同一样本空间的其他样本
  
  • 在做两个样本的距离度量（或者其他运算），不仅考虑此两个样本，还综合考虑同一样本空间的其他全部样本（显然样本之间存在 relation，相关性），使用 K-NN 算法选出距离最近的样本，比如著名的马氏距离；

1. Dictionary Learning（字典学习）

字典学习是图像的稀疏表示（sparse representation）的重要处理方法。K-SVD 字典学习又是字典学习理论的核心模型。

给定如下参数：

• $X=[x_1,x_2,\ldots,x_N]$，样本集；
• $D=[d_1,d_2,\ldots,d_m]$，过完备字典；
• $A=[\alpha_1,\alpha_2,\ldots,\alpha_N]$，学习到的 sparse decomposition coefficients

传统的字典学习目标函数如下：

$$\min_{D,\alpha}\sum_{i}\|x_i-D\alpha_i\|^2+\lambda \sum_i\|\alpha_i\|^2$$

改进的思路：增加约束（正则化项）：

• 保角约束（angle-preserving，conformal）：
  

  $$\min_{D,\alpha}\sum_{i}\|x_i-D\alpha_i\|^2+\lambda_1\sum_i\|\alpha_i\|^2+\lambda_2f(\alpha)$$

  如何定义这里的 $f(\alpha)$ 呢。字典学习的过程就是 $z_i=g(x_i)$，$X$空间向$Z$ 空间的映射过程，我们首先找到通过 K-NN 的方法在样本空间（sample set）中寻找离当前样本 $x_i$ 最近的两个样本 $x_j$ 和 $x_k$，其对应的 $Z$ 空间中的元素为 $z_i,z_j,z_k$，保角特性要求

  $$\frac{\|x_i-x_j\|^2}{\|z_i-z_j\|^2}=\frac{\|x_i-x_k\|^2}{\|z_i-z_k\|^2}=\frac{\|x_k-x_j\|^2}{\|z_k-z_j\|^2}=s_i$$
  进一步转化为：
  $$\sum_{j,k\in N}(\|x_j-x_k\|^2-s_i\|z_j-z_k\|^2)^2$$

  则 $f(\alpha_i)$ 的形式为：

  $$f(\alpha_i)=\sum_{j,k\in N}(\|x_j-x_k\|^2-s_i\|\alpha_j-\alpha_k\|^2)^2$$

• $A$ 的低秩（low-rank）约束：

  $$\min_{D,\alpha}\sum_{i}\|x_i-D\alpha_i\|^2+\lambda_1\sum_i\|\alpha_i\|^2+\lambda_2f(\alpha)+\lambda_3\|A\|_{\star}$$

参见论文：Conformal and Low-Rank Sparse Representation for Image Restoration.

2. 软硬阈值

• 硬阈值函数：

$$\hat{d_{j,k}}=\left\{ \begin{array}{l} d_{j,k},\quad |d_{j,k}|\geq \lambda \\ 0,\quad \text{otherwise} \end{array} \right.$$

• 软阈值函数：

  $$\hat{d_{j,k}}=\left\{ \begin{array}{l} d_{j,k}-\lambda,\quad d_{j,k}\geq \lambda \\ 0,\quad \text{otherwise}\\ d_{j,k}+\lambda,\quad d_{j,k}\leq -\lambda \end{array} \right.$$

  当然也可转换为一个更为简洁的写法：

  $$\hat{d_{j,k}}=\left\{ \begin{array}{l} \text{sign}(d_{j,k})\left(|d_{j,k}|-\lambda\right),\quad |d_{j,k}|\geq \lambda \\ 0,\quad \text{otherwise}\\ \end{array} \right.$$

改进的思路：继续对阈值函数进行调整：

• 简单的线性叠加（linear）：$\alpha f_1+(1-\alpha)f_2$

• 非线性的构造方法（nonlinear，使其具有更快或者更为舒缓的衰减函数，当然选择指数函数：$e^{x}$）