兜兜转转,在文字矫正方向的失利以## 标题后,转向了视频编码。目前视频编码和卷积神经网络的结合还不是很多,后面就记录一下自己在视频编码中的学习。
什么是视频编码?
我们平时所接触到的视频,有的大有的小,但是很多情况下的视频都是非常大的,这对我们的传输造成了很大困扰。我们通过视频编码技术,能够让我们的传输更加方便。
冗余
在我们的视觉系统中,当一张图片有一些轻微的损耗时,我们用肉眼是观察不到相应的变化的,也就是说传输过程中允许一些损耗,而我们看不到的这些图片的变化,就是冗余信息。在传输过程中我们可以将这些冗余信息去掉,这样就可以提升我们传输的效率。
亮度适应性
JND模型
所谓的JND模型,全称就是just noticeable distortion,从字面意思上理解,就是刚刚感觉到失真的模型。就像声音频率高到一定频率我们听不到一样,我们的视觉也会有这样的效应。
子带
子带就是我们的JND模型的建立,可能会使在图像域,也可能是基于子带,子带就是在一些变换的基础上,我们进行建模。比如DCT变换,我们就可以建立基于DCT变换的JND模型。
DCT变换
相信很多学过数字信号处理的同学都知道这个,但是我们如果把他运用到图像处理上面怎么运用呢?
首先我们来说说,一个图像经过变换后转换到频域,那么频域的信息代表什么呢?
比如我们转换一块区域到频域,但是这块区域的像素值变化在100-102之间,变化非常小,那么经过DCT变换到频域以后,我们就会发现这是一个高频区域,我们想,在平时我们都是对颜色或者明亮度相差很大的区域特别敏感,一眼就能看到差别,但是向这样像素值的差别在2以内的图像区域,我们的人眼几乎辨别不出差别,所以换句话说,我们的人眼对高频区域的图像信息不敏感。