CS131学习笔记（lecture4）

课程讲义：http://vision.stanford.edu/teaching/cs131_fall1718/files/04_filters.pdf

图像采样（sampling）和量化（quantization）

首先，自然界中的每一景象都是“continuous”，然而这在计算机的世界观中是不可接受的。所以必须把模拟信号进行采样和量化才能得到图像矩阵，当然了，这一过程产生误差和丢失信息也是不可避免的。图像矩阵的每一个元素都是一个像素点（pixel dot，以下像素点和矩阵元素等价），分辨率（resolution， 单位dpi，dots per inch）表示单位面积之内的像素点个数，当图像矩阵确定时，仅和人眼的直接观察效果有关。像素点的内容决定了图片的类型：
黑白图片：矩阵元素是0-1binary，0表示黑，1表示白。
灰阶图片：矩阵元素是[0,N]，0表示黑，N表示白，共切割为N-1阶。
彩色图片：矩阵元素是[0,N]，按照一定的标准（如RGB, Lab, HSV, etc.）可以覆盖常见色域的N-1种颜色
##图像直方图（histogram）
概念同统计学中的直方图概念，即：对一定范围内（如每行、每图像块、每幅全图像，etc.）的像素点，按照各个像素的值进行频数统计并作图。

图像函数

前面我们是通过矩阵的角度理解“图像”的，换个角度，把一幅“图像”看作一个函数，定义域是全体像素坐标，映射关系是每个像素坐标处对应的像素值。有了“函数”的抽象，则可以利用信号与系统的知识对函数进行operate。

线性系统（滤波器（filter））

滤波器是处理一幅图获得另一幅图的装置（或者函数、系统等等任何方便理解的名词都可），文中举了移动平均和阈值两种滤波器。其系统函数分别如下：
$$g(n,m)=\frac{1}{9}\sum _{k=n-1}^{n+1}\sum _{l=m-1}^{m+1}f[k,l]$$
$$g(n,m)=\{\begin{array}{cc}1,& f(n,m)\ge a\\ 0,& f(n,m)<a\end{array}$$
以下知识主要基于《信号与系统》和《离散时间信号处理》：
1.线性（linear）系统S[f(x, y)]的定义主要有来自两条：
数乘条件：$S[\alpha f(n,m)]=\alpha S[f(n,m)]$
可加条件：$S[f_i(n,m)+f_j(n,m)]=S[f_i(n,m)]+S[f_j(n,m)]$
综合等价于为：$S[\alpha f_i(n,m)+\beta f_j(n,m)]=\alpha S[f_i(n,m)]+\beta S[f_j(n,m)]$
2.移不变（shift invariant）系统的要求：若$g(n.m)=S[f(n,m)]$，则$g(n-s,m-t)=S[f(n-s,m-t)]$
如无特殊说明，本文所指的“系统”均为线性移不变系统（LSI），除了前述3个条件外，其他条件重要性略低，可参考上述两书，此处不再赘述。

另有冲激函数$\delta (m,n)$的定义：此函数在原点处的值为1，在其他处的值为0。
则所有图像函数都可以看作产生位移的冲激函数的线性组合，对于原函数的operate可以由移不变性质转化为对于冲激函数的operate，大大化简了信号处理过程。

卷积（convolution）

卷积的表达式：$f\ast g(n,m)={\sum }_l{\sum }_{k}f(k,l)g(n-k,m-l)$
信号输入LSI系统进行process的过程可以看作和系统函数进行卷积的过程。值得注意的是，卷积表达式是无穷的，而图片和计算机处理过程通常是有限的，所以必须考虑边缘效应（edge effect）。如图，对F进行九宫格移动平均得到等大的G，其中计算G左上角格时F的边缘溢出，需要进行扩展（pad），即假设溢出区域的值用于计算，padding的方案包括用0pad、边缘值pad等。

相关（correlation）

顾名思义，相关是用来描述两幅图像内容相似度的函数。定义式如下:
$$r_{f\ast \ast g}(k,l)=\sum _m\sum _{n}f(n,m)g^{\ast }(n-k,m-l)=\sum _m\sum _{n}f(n+k,m+l)g^{\ast }(n,m)=f(k,l)\ast g^{\ast }(-k,-l)$$
上式中$g^{\ast }$表示g的共轭对称函数。在实值函数中为g本身。