FPGA干货 | 数字成像与视频技术关键点

视频图像处理是FPGA的主要应用领域之一，今天我们来学习下数字成像和视频技术的基础知识。

一、什么是图像？

1、像素：数字图像的基石

在数字成像的世界里，一切始于像素，图像是像素的二维矩阵。

以一张标准的1080p高清图像为例，它由1920×1080个像素点组成，即约207万个像素。

每个像素都包含了颜色信息，通常是通过RGB（红绿蓝）三种颜色的组合来表示。

 2、采样：捕捉现实的第一步

采样是将连续的现实世界转换为离散的数字信号的过程，这些都是通过图像传感器采集的，再经过ISP处理，转换成彩色的图像。

以一个简单的场景为例，假设我们有一个800万像素的相机，它的传感器面积为1/2.3英寸。

在这种情况下，每个像素的尺寸大约为1.6微米 x 1.6微米。这个尺寸决定了相机的分辨率和图像的细节水平。

二、视频技术：动态图像的构建

视频是由一幅幅图像按照一定速度刷新组成的，这和我们小时候看的手翻书一个原理。

1、 帧与场：视频的时序结构

视频由一系列帧组成，每一帧都是一个独立的图像。

以PAL制式为例，每秒有25帧，每帧又分为两个场，即50场/秒。

这意味着，每秒钟有25个完整的图像被播放，每个图像又由两个半图像（场）组成。

2、分辨率

分辨率是指图像中所包含的像素数量，它决定了图像的清晰度和细节水平。

分辨率通常以宽度和高度的像素数来表示，例如1920×1080，其中“1920”表示图像的宽度有1920个像素点，“1080”表示图像的高度有1080个像素点。

分辨率的类型：

标准分辨率：这是早期电视和计算机显示器使用的分辨率，如480i或576i，其中“i”代表隔行扫描。

高清分辨率（HD）：提供比标准分辨率更高清晰度的图像，常见的有720p和1080p，其中“p”代表逐行扫描。

超高清分辨率（UHD或4K）：提供大约3840×2160像素的分辨率，是1080p的四倍，提供极为清晰的图像。

8K分辨率：提供7680×4320像素的分辨率，是4K分辨率的四倍，目前主要用于高端影视制作和一些专业应用。

3、帧率

视频帧率（Frame Rate）是指在视频播放过程中，每秒钟能够显示的静态图像（帧）的数量，通常以“帧每秒”（FPS）为单位来衡量。

帧率是决定视频播放流畅度的关键因素之一。

帧率对视频播放的影响：

（1）流畅度

帧率越高，视频中的动作看起来越流畅自然，没有卡顿或跳跃感。例如，24FPS通常用于电影，而30FPS或60FPS则常用于电视和电子游戏，以提供更流畅的观看体验。

（2）运动模糊

在高帧率视频中，快速运动的物体可能会产生更少的运动模糊，这有助于保持图像的清晰度。

（3）视觉感受

不同的帧率可以产生不同的视觉感受。例如，高帧率视频看起来更平滑，而较低的帧率可能会给观众一种更“真实”或“电影化”的感觉。

（4）数据量

帧率越高，视频的数据量也越大，这意味着需要更多的存储空间和更高的带宽来传输视频。

播放高帧率视频需要设备具备更高的处理能力，以确保视频能够平滑播放而不会出现卡顿。

常见的视频帧率：24FPS、25FPS、30FPS、50FFP、60FPS。

这里大家可以看一下效果图：

三、数字成像和视频的未来趋势

1、HDR：更广阔的色彩空间

HDR技术能够提供比传统SDR（标准动态范围）更高的色彩深度和对比度。

例如，HDR10标准支持10位色深，能够显示超过10亿种颜色，是8位色深的64倍。

效果对比图：

2、8K视频：极致的视觉体验

8K视频的分辨率为7680×4320像素，是4K视频的四倍。以60fps的8K视频为例，它每秒钟需要处理超过30亿像素的数据，这对未来的视频处理技术提出了更高的要求。