前言
即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙。原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的。有关实时音视频开发时的技术难题请参见《音视频云声网Agora:从demo到实用,中间还差1万个WebRTC》:http://www.52im.net/article-119-1.html
本文主要讲解实时音视频技术中视频技术的数字视频知识。
系列文章
本文是系列文章中的第11篇,本系列文章的大纲如下:
《即时通讯音视频开发(五):认识主流视频编码技术H.264》
《即时通讯音视频开发(九):实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发(十):实时语音通讯的回音消除技术详解》
《即时通讯音视频开发(十一):实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发(十三):实时视频编码H.264的特点与优势》
《即时通讯音视频开发(十五):聊聊P2P与实时音视频的应用情况》
《即时通讯音视频开发(十六):移动端实时音视频开发的几个建议》
《即时通讯音视频开发(十七):视频编码H.264、V8的前世今生》
《即时通讯音视频开发(十八):详解音频编解码的原理、演进和应用选型》
《即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门》
1. 什么是图像?什么是视频?
图像:
是人对视觉感知的物质再现。三维自然场景的对象包括:深度,纹理和亮度信息。二维图像:纹理和亮度信息。
视频:
连续的图像。视频由多幅图像构成,包含对象的运动信息,又称为运动图像。
2. 何为数字视频?
数字视频可以理解为自然场景空间和时间的数字采样表示。
空间采样的主要技术指标为:解析度(Resolution)
时间采样的主要技术指标为:帧率(帧/秒)
3. 数字视频系统的构成和运行原理
采集:照相机,摄像机。
处理:编解码器,传输设备
显示:显示器。
4. 人类视觉系统HVS
HVS的构成:
眼睛
神经
大脑
HVS特点:
对高频信息不敏感
对高对比度更敏感
对亮度信息比色度信息更敏感
对运动的信息更敏感
5. 针对HVS的特点,数字视频系统的设计应该考虑哪些因素?
丢弃高频信息,只编码低频信息
提高边缘信息的主观质量
降低色度的解析度
对感兴趣区域(Region of Interesting,ROI)进行特殊处理
6. 什么是RGB色彩空间?
三原色分别是红(R),绿(G),蓝(B)。任何颜色都可以通过按一定比例混合三原色产生。
RGB色度空间:
由RGB三原色组成
广泛用于BMP,TIFF,PPM等
每个色度成分通常用8bit表示[0,255]
7. 什么是YUV色彩空间?
YUV色彩空间是指,Y:亮度分量,UV:两个色度分量。YUV能更好的反映HVS特点。
8. RGB如何转化到YUV空间?
亮度分量Y与三原色有如下关系:
经过大量实验后ITU-R给出了:
主流的编解码标准的压缩对象都是YUV图像。
9. 何为YUV图像分量采样?
YUV图像可以根据HVS的特点,对色度进行分量采样,可以降低视频数据量。
根据亮度和色度分量的采样比率,YUV图像通常有以下几种分量方式:
10. 通用的YUV图像格式有哪些?
根据YUV图像的亮度、分辨率定义了如下图像格式:
11. 如何理解帧和场图像?
一帧图像包括两场——顶场,底场:
12. 逐行与隔行图像
**逐行图像是指:**一帧图像的两场在同一时间得到,ttop=tbot。
**隔行图像是指:**一帧图像的两场在不同时间得到, ttop≠tbot。