000视频基础知识入门--科普向

本文所有知识资源均来自网络，如有侵权，联系可注明来源或删除本文章。本文为音视频基本知识入门，偏向科普性质。

1 成像

1.1 三原色

1.1.1 加色法

光源合成光线的原理。显示屏是一个光源，本身可以发出红、绿、蓝三种颜色的光线。通过调节红、绿、蓝三种颜色的强度，来合成其它。

1.1.2减色法

物体表面反射光线的原理。一些物体可以反射所有波长的光线，比如白纸，所以我们看到画纸是白色的；而像用来画画的颜料只能反射一部分波长的光线，红色的颜料反射红色的光线，其余光线被颜料吸收了（减去了），所以我们只看到红色。

加色法是两种以上的色光同时刺激人的视神经而引起的色效应；
减色法是指从白光或其它复色光中减某些色光而得到另一种色光刺激的色效应

1.2 摄像头原理

1.2.1 摄像头成像原理

摄像头成像原理：透镜成像原理（类似眼睛）

1.2.2 摄像头结构组成

Lens:镜头,负责成像和对焦
理论上，镜头可以只由一个镜片组成，但由于光学原因，单个镜片的成像不可避免的存在色差、球差、彗差、像散等等一些列像差问题，尤其在边缘部分，成像很差。多个镜片的组合可以在一定程度上校正像差。
标准镜头、广角镜头、长焦镜头、短焦镜头。。。。

红外滤波片（IR）
滤除红外光，只保留人类可识别的波长的光


图像传感器（sensor）
感光元件CCD或CMOS。基于光电效应，撞击单元的光子在这些单元中产生电子（光电效应），因此光子的数目与电子的数目互成比例（光的明暗）。然而光子的波长（颜色）并没有被转换为电子。换言之，图像传感器的直出的图像是没有颜色的。


图像传感器（sensor）
图像传感器只能感觉受到光线的强弱明亮，那怎么得到颜色信息呢？
理想方案：使用三棱镜分离出红绿蓝三基色，分别通过3片CCD获取这3种颜色的各自明暗程度，而后对应相加混合即可。


但是采用三个滤光片有过奢侈。
绝大多数相机的方案：拜尔滤光片（马赛克滤波片）+单CCD+算法插值（ISP运算）。 拜尔滤光片使每个像素只能产生红、绿或蓝三色当中一种颜色的值。但是在输出时，由相机处理单元执行空间色彩插值法，使每个像素均包含三基色的成分。
由于人对红色光不敏感，对绿色光敏感，所以拜尔滤光片的色彩比为：红：绿：蓝 = 1：2：1。


如果对3CCD相机生成的3幅数字原始图像与单CCD相机生成的3幅数字始图像进行比较，我们会发现它们看起来完全相同。但这仅仅对我们这个简化的例子是成立的。在实际应用中，即使最好的彩色空间插值法也会产生低通效应。因此，单CCD相机生成的图像要比3CCD相机或黑白相机的图像模糊，这点在图像中有超薄或纤维形物体的情况下尤为明显。
新问题：由于马赛克滤光片（亦被称作拜尔滤光片）使得每个像素只能显示红、绿或蓝当中的一种颜色。想得到每个像素真实的颜色怎么办？
复制临近像素法：填补缺失的色彩值的最简单方法就是从临近像素中获取色彩值
对于静止图像，这种简单的插值法所生成的结果是不可接受的。但由于它并不耗费多少时间，我们可以将其用于对质量标准要求不高的视频数据流中（例如视频预览）。

临近像素均值法（双线性插值）：
均值法的一个重大缺陷：均值法有低通特性，并由此将清晰的边界钝化。RGB值本应是（255，0，0），但实际上变成了（255，128，64），因此该点变成了棕橙色。

1.3 RGB

RGB 分别表示红（R）、绿（G）、蓝（B），也就是三原色，将它们以不同的比例叠加，可以产生不同的颜色。

比如一张 1920 * 1280 的图片，代表着有 1920 * 1280 个像素点。如果采用 RGB 编码方式，每个像素点都有红、绿、蓝三个原色，其中每个原色占用 8 个字节，每个像素占用 24 个字节。

那么，一张 1920 * 1280 大小的图片，就占用 1920 * 1280 * 3 / 1024 / 1024 = 7.03MB 存储空间。

1.4 YUV

YUV 编码采用了明亮度和色度表示每个像素的颜色。
其中 Y 表示明亮度（Luminance、Luma），也就是灰阶值。U、V 表示色度（Chrominance 或 Chroma），描述的是色调和饱和度。对于 YUV 所表示的图像，Y 和 UV 分量是分离的。如果只有 Y 分量而没有 UV 分离，那么图像表示的就是黑白图像。彩色电视机采用的就是 YUV 图像，解决与和黑白电视机的兼容问题，使黑白电视机也能接受彩色电视信号。
YUV 图像的主流采样方式有如下三种：
YUV 4:4:4 采样：表示 Y、U、V 三分量采样率相同，即每个像素的三分量信息完整，都是 8bit，每个像素占用 3 个字节与 RGB 图像大小是一样的。

YUV 4:2:2 采样：表示 UV 分量的采样率是 Y 分量的一半。每采样一个像素点，都会采样其 Y 分量，而 U、V 分量都会间隔采集一个，映射为像素点时，第一个像素点和第二个像素点共用了 U0、V1 分量，以此类推。从而节省了图像空间。

YUV 4:2:0 采样：YUV 4:2:0 并不意味着不采样 V 分量。它指的是对每条扫描线来说，只有一种色度分量以 2:1 的采样率存储，相邻的扫描行存储不同的色度分量。也就是说，如果第一行是 4:2:0，下一行就是 4:0:2，在下一行就是 4:2:0，以此类推。

2 显示

显示，将数字信号再转换回成不同的光线。

2.1 LCD显示器显示原理

原理：两块偏光的栅栏角度相互垂直时光线就完全无法通过。

液晶显示器就是利用偏光板这个特性来完成的，利用上下两片栅栏之间互垂直的偏光板之间充满了液晶，在利用电场控制液晶分支的旋转，来改变光的行进方向，如此一来，不同的电场大小，就会形成不同颜色度了。

当在不加上电极的时候，当入射的光线经过下面的偏光板(起偏器)时, 会剩下单方向的光波,通过液晶分子时, 由于液晶分子总共旋转了90度, 所以当光波到达上层偏光板时, 光波的极化方向恰好转了90度。下层的偏光板与上层偏光板, 角度也是恰好差异90度。 所以光线便可以顺利的通过，如果光打在红色的滤光片上就显示为红色。
当在加上电极后(最大电极)，液晶分子在受到电场的影响下，都站立着，光路没有改变，光就无法通过上偏光板，也就无法显示

每一份像素点由"红色",“蓝色”,"绿色"三个子基色构成（这就是所谓的三原色. 也就是说利用这三种颜色）。我们把RGB三种颜色,分成独立的三个点, 各自拥有不同的灰阶变化, 然后把邻近的三个RGB显示的点,当作一个显示的基本单位,
充电到各自所需的电压,显示不同的灰阶（亮度）。

2.2 OLED显示器显示原理

利用有机电自发光二极管制成的显示屏。三个单独的红、绿、蓝发光二极管组成一个像素点，通过LED的亮灭来控制灰阶，三个共同来合成颜色。

3 额外加餐

变焦

光学变焦：通过镜头、物体和焦点三方的位置发生变化而产生的。

数码变焦：没有可移动、伸缩的部分。它使用数码相机内的处理器，它只对自己所能观察到的地方进行放大，实际上是画面的电子放大。即把原来CCD影像感应器上的一部分像素，使用“插值”处理的手段做放大，从而达到放大目的。这种手法如同用图像处理软件把图片的面积改大，不过程序在数码相机内进行，把原来CCD影像感应器上的一部份像素使用"插值"处理手段做放大，将CCD影像感应器上的像素用插值算法将画面放大到整个画面。实际上数码变焦并没有改变镜头的焦距。原理：利用软件对已有像素周边的色彩进行判断，并根据周边的色彩情况插入经特殊算法加入的像素。

防抖

机械防抖：


光学防抖系统是通过改变镜片组或感光芯片的位置来达到减震入抖的功能，其防抖效果比电子防抖更，但缺点是成本高、费电，且需要一定空间。光学防抖技术是在镜头内的陀螺仪侦测到微小的移动时，会将信号传至微处理器立即计算需要补偿的位移量，然后通过补偿镜片组，根据镜头的抖动方向及位移量加以补偿，从而有效的克服因相机的振动产生的影像模糊。

电子防抖主要指在数码照相机或者手机上采用强制提高CCD感光参数同时加快快门并针对CCD上取得的图像进行分析，然后利用边缘图像进行补偿的防抖，电子防抖实际上是一种通过降低画质来补偿抖动的技术，此技术试图在画质和画面抖动之间取得一个平衡点。