图像与视频处理

文章涵盖了图像处理的基础知识,包括色温和色彩三要素,以及RGB、HSI、YUV等色彩空间。重点讨论了图像质量的层次、对比度和清晰度,并介绍了灰度变换方法如阴图像、对数变换和指数变换。此外,还涉及图像增强技术、图像压缩、图像和视频编码,特别是H.264/AVC编码框架中的帧内预测和帧间预测概念。
摘要由CSDN通过智能技术生成

概述部分(1-1)

1.色温越高,光色越偏蓝;色温越低,越偏红。

2.色彩三要素:亮度、色调和色饱和度。亮度反映光的明亮程度;色调反映彩色的类别,例如红、橙、黄、绿、青、蓝、紫等不 同颜色;色饱和度反映彩色光的深浅程度。同一色调的彩色光,会给人 以深浅不同的感觉,深红、 粉红是两种不同饱和度的红色, 深红色饱和度高,粉红色饱和度低。

3.颜色空间

(1)RGB与HSI、YUV(YIQ、YCbCr)色彩空间,线性变换

HSI基于人类感知,HSI分别表示色调、色饱和度、亮度

YUV模拟彩色电视信号的色彩模型,YUV分别表示亮度和两个色饱和度分量。用于视频编码、传输与显示。

YIQ:一种用于彩色电视信号的色彩模型。YIQ分别表示亮度和两个色饱和度分量。用于美国的NTSC电视系统。

YCbCr:一种用于数字视频和图像压缩的色彩模型。YCbCr分别表示亮度和两个色饱和度分量。用于数字视频编码和压缩标准(如JPEG和MPEG)、数字电视中。

4.图像及表示

图像的质量取决于层次、对比度、清晰度

(1)层次

(2)对比度

对比度= 最大亮度/ 最小亮度

(3)清晰度

 与清晰度相关的因素:亮度、 对比度、 尺寸大小、细微层次、 颜色饱和度

5.图像研究

  • 图像增强(Image Enhancement)
  • 图像恢复(Image Restoration)
  • 图像重建(Image Reconstruction)
  • 图像分割(Image Segmentation)
  • 图像压缩(Image Compression)
  • 图像识别(Image Recognition)
  • 图像跟踪(Image Track)

图像部分

一、图像变换与滤波(2-1 至 2-3)

1.图像灰度变换


灰度变换是一种将图像的灰度级进行映射或转换的操作,常用于调整图像的对比度、亮度或者突出特定特征。下面我将介绍几种常见的灰度变换方法以及它们的具体实现方式。

1.1.阴图像(Image Negative):
阴图像是将原始图像的每个像素值取其反值的一种灰度变换。具体而言,对于灰度级为L的图像,阴图像的每个像素值为L-1减去原始图像对应像素值。这个过程可以通过以下公式实现(8位位深的图像,L=2^8=256):
新像素值 = L - 1 - 原始像素值

1.2.对数变换(Logarithmic Transformation):
对数变换通过应用对数函数将原始图像的灰度级进行压缩或扩展,以增强图像的低灰度级细节。对数变换的公式如下:
新像素值 = c * log(1 + 原始像素值)
其中,c是一个调整参数,用于控制对比度增强的程度。c越大,对比度越强。

1.3.指数变换(Exponential Transformation):
指数变换通过应用指数函数将原始图像的灰度级进行压缩或扩展,以增强图像的高灰度级细节。指数变换的公式如下:
新像素值 = c * (原始像素值 ^ γ)
其中,c是一个调整参数,γ是一个控制对比度增强的指数值。c越大γ越小,图像对比度越强。


1.4.逐段线性变换(Piecewise Linear Transformation):
逐段线性变换将原始图像的灰度级映射到不同的灰度级区域,以调整图像的对比度。可以通过定义一系列灰度级映射函数来实现逐段线性变换。例如,可以将灰度级0到50映射到0到100,将灰度级50到150映射到100到200,将灰度级大于150的映射到200到255。

 1.5.灰度分层(Gray-level Slicing):
灰度分层通过选择特定的灰度级范围,并将其余灰度级设置为固定值来突出显示图像中的特定灰度范围。例如,可以选择将所有像素值在50到150之间的像素设为255(白色),其余像素设为0(黑色)。

1.6.比特平面分层(Bit-plane Slicing):
比特平面分层是将图像的每个像素值表示为二进制比特平面,并对每个比特平面进行处理的方法。
是一种图像压缩方法。通过保留较重要的比特平面,而舍弃较不重要的比特平面,可以降低图像的存储空间。
通过操作比特平面,可以选择性地增强图像中的细节。较高位的比特平面通常包含较高频率的细节信息,而较低位的比特平面则包含较低频率的整体图像信息。通过增强或滤波特定比特平面,可以调整图像的对比度或突出特定细节。

2.颜色变换、几何变换

3.空域滤波变换


将平滑空域滤波器、锐化空域滤波器与待处理的图像做卷积/相关运算,达到图像平滑、锐化或边缘检测等目的。
3.1.空域平滑滤波器
(1)线性滤波器:均值滤波器
简单平均法:模糊图像

阈值平均法:抑制椒盐噪声、模糊


梯度倒数加权平均法

(2)非线性滤波器:
• 最大值滤波器
• 中值滤波器:抑制椒盐噪声

• 最小值滤波器
• 统计排序滤波器

3.2.空域锐化滤波器
图像锐化目的:加强图像轮廓、增强高频分量,使图像看起来比较清晰、以便于对目标的识别和处理。
四种方法:微分/梯度法、高通滤波法、反锐化掩模、高提升滤波
(1)微分法/梯度法
考察正弦函数sin2πax,它的微分2πacos2πax,微分后频率不变,幅度上升2πa倍。微分是可以加强高频成分的,从而使图像轮廓变清晰。
(2)高通滤波法
采用高通滤波的方法让高频分量顺利通过,使低频分量得到抑制,就可增强高频分量,使图像的边缘或线条变的清晰,实现图像的锐化。
有Prewitt算子、Sobel算子和 Laplacian 算子

高通滤波特点:高通滤波在增强了边缘/轮廓的同时,丢失了图像的层次,图像会变的粗糙。

 4.频域滤波变换

图像的频率是表征图像中灰度变化剧烈程度的指标,是灰度在平面空间上的梯度 表征。图像频率域滤波是在图像的频率域上进行滤波操作。这种滤波方法首先将图像进行傅里叶变换,将图像从空间域转换到频率域。在频率域中,可以对图像的频谱进行操作,然后再将图像进行逆傅里叶变换将其转换回空间域。

4.1. 傅里叶变换

傅里叶变换用于将一个函数表示为一系列不同频率的正弦和余弦函数的叠加。它可以将一个函数从时域(时间域)转换到频域,显示函数在不同频率上的成分。

在二维离散信号处理中,可以使用傅里叶变换(离散傅里叶变换(Discrete Fourier Transform,DFT)和快速傅里叶变换(FFT))将图像从空间域(像素点)转换到频域,将图像分解成不同频率的分量。这可以用于图像增强、滤波、去噪和压缩等任务。例如,通过移除高频噪声成分,可以对图像进行去噪操作。

傅里叶变换的一些基本特性:

(1)平移特性

空域坐标移动,频域只发生相位变化,幅值不变。

频域坐标移动,空域只发生相变,幅值不变。图像背景噪音可采用频移方法消除干 扰,获得清晰图像。

 (2)旋转性质

空域图像旋转角度对应于频 域DFT函数旋转相同角度。

 (3)分配性与比例性

(4)周期性和共轭对称性

(5)卷积/相关定理

空间域的卷积运算对应频率域的乘积运算; 频率域的卷积运算对应空间域的乘积运算。

4.2. 频域滤波基础

思路:通过滤波器函数以某种方式来修改图像变换,然后通过取结 果的反变换来获得处理后的输出图像。

一些个基本的滤波器:陷波滤波器、低通(平滑)滤波器、高通(锐化)滤波器

(1)陷波滤波器

由于图像平均值为0而产生整体平均灰度级的降低

(2)低通滤波器

低通滤波器:使低频通过, 而使高频衰减的滤波器。

结论:半径越小,模糊越大;半径越大,模糊越小(半径可以理解为允许通过的频率,越小,就说明更多的高频信号被抑制)

(3)高通滤波器

高通滤波器:使高频通过而使低频衰减的滤波器。

 频率域低通滤波器越窄,滤除的低频成分就越多,使得图像就越模糊;在空间域, 这意味着低通滤波器就越宽,模板就越大。

5.图像复原滤波

5.1. 几种噪声

 

 5.2. 使用用陷波滤波器降低图像的周期噪声

 

 5.3. 估计退化函数进行图像复原

 5.4. 逆滤波、最小均方误差(维纳)滤波、约束最小二乘方滤波

(1)逆滤波

 (2)最小均方误差(维纳)滤波 

(3)约束最小二乘方滤波

(4)复原方法与结果

二、图像特征提取与匹配

图像处理->图像分析->图像理解

1.直方图特征提取与匹配

1.1. 直方图的定义与特点

表现了图中各像素值出现的次数或者频率。 

 

 

 1.2. 直方图均衡化

直方图均衡化实质上是调整(合并/减少)图像的灰度级以换取对比度的加大。

 计算步骤:

 

1.3. 直方图匹配

(1)定义

修改一幅图像的直方图,使得它与另一幅图像的直方图匹配或具有一种预先规定的 函数形状。

 (2)直方图匹配过程

 (3)直方图均衡化和直方图匹配关系

 (4)方向梯度直方图

2.边缘轮廓提取

2.1. 边缘检测

(1)几种边缘

 (2)几种常见的边缘检测算子

 

视频部分

一、概述

1.视频编码传输流程

视频编码的目的是通过压缩和编码技术降低视频数据的存储、传输和处理成本,提高传输效率和用户体验,使得视频在不同应用领域得以广泛应用。

 2.视频编码的发展

 2.1. H.264/AVC 编码框架

 (1)帧内预测 和 帧间预测

视频编码的基本框架由帧内预测(Intra Prediction)和帧间预测(Inter Prediction)两部分组成。它们的主要区别在于预测参考的来源和编码方式。

3.视频压缩原理

 (1)YUV与YCbCr用于视频

 (2)YUV信号的采样

分别对应1、2、4个Y分量对应1个U、1个V

二、预测编码

1.概述

对于视频信号,一副图像内邻近的像素点之间有着较强的 空间相关性相邻图像之间有着很强的时间相关性

帧内预测编码解决空间冗余

帧间预测编码解决时间冗余

2.帧间预测

I帧:关键帧

P帧:预测帧,表示与I帧的不同

B帧:双向帧,表示与I帧与P帧的不同

发送顺序:I1        P3        B2

解码顺序:I1        P3        B2

读取顺序:I1        B2        P3

显示顺序:I1        B2        P3

3.GOP

GOP定义:

一个序列的第一个图象叫做IDR图像(立即刷新图像),GOP即Group of picture(图像组),GOP指两个IDR帧之间的距离。

1秒25帧正常频率    如果10秒一个GOP,则一个GOP就有250帧

GOP太长:编码的I帧会越少,P帧、B帧压缩率更高,整个视频编码效率更高

(1) GOP太长如果I帧数据异常,这个gop显示都有问题,导致画面长时间马赛克异常 (2)拖动播放时候问题

GOP太短:码率增加

4.帧内预测

5.DCT与量化步长QP值

(1)DCT 离散余弦变换

分离高频信息和低频信息,将数值变小

(2)量化QP值也就是步长

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值