摄像头结构及原理介绍

一.摄像头概述

1.结构与原理

  拍摄景物通过镜头，将生成的光学图像投射到传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到电脑中进行处理，最终转换成手机屏幕上能够看到的图像。

  

  

2.常见的摄像头传感器类型

一种是CCD传感器（Chagre Couled Device），即电荷耦合器。

一种是CMOS传感器（Complementary Metal-Oxide Semiconductor）即互补性金属氧化物半导体。  

二、相关参数和名词

1、常见图像格式

1.1 RGB格式：

传统的红绿蓝格式，比如RGB565，RGB888，其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼对绿色比较敏感。

1.2 YUV格式：

luma (Y) + chroma (UV) 格式。YUV是指亮度参量和色度参量分开表示的像素格式，而这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式。

色度(UV)定义了颜色的两个方面─色调与饱和度，分别用CB和CR表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。

主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。

   

1.3 RAW data格式：

RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据（Metadata，如ISO的设置、快门速度、光圈值、白平衡等）的文件。

RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片，滤光片按Bayer pattern分布。将每一个像素的数据直接输出，即RAW RGB data，Raw data（Raw RGB）经过彩色插值就变成RGB.

1.4 RAW data及RGB、YUV区别
RAW data：原始传感器输出，包含 噪声、坏点、线性响应数据，需通过 RAW 处理流程（如去噪、白平衡、色彩校正、伽马校正）转换为 RGB 或 YUV。
RGB：适合直接显示和图像处理，直观但数据量大，是 “终端显示格式”。
YUV：适合视频编码和传输，通过亮度 - 色度分离实现高效压缩，是 “底层处理格式”。

1.5.在实际应用中，视频流程通常为：
相机传感器 → RAW数据 → 预处理 → RGB → YUV → 编码H.264 等格式 → 传输（RTP/RTSP） → 接收 → 解码 → YUV → RGB → 显示

2. 相关技术指标

2.1 图像解析度/分辨率(Resolution)：

SXGA(1280 x1024)又称130万像素

XGA(1024 x768)又称80万像素

SVGA(800 x600)又称50万像素

VGA(640x480)又称30万像素(35万是指648X488)

CIF(352x288) 又称10万像素

SIF/QVGA(320x240)

QCIF(176x144)

QSIF/QQVGA(160x120)

2.2 彩色深度(色彩位数)：

256色灰阶，有256种灰色（包括黑白）。

15或16位彩色（高彩色）：65,536种颜色。

24位彩色（真彩色）：每种原色都有256个层次，它们的组合便有256*256*256种颜色。

32位彩色：除了24位彩色的颜色外，额外的8位是储存重叠图层的图形资料(alpha频道)。

2.3 光学变焦和数码变焦：

光学变焦： 通过镜头的调整，拉近拉远所要拍摄的对象，保持像素不变和画质基本不变，却可以拍到自己理想的物像。

数码变焦：其实没有什么变焦，只是从原图片中截取出来放大，你从液晶屏幕上看到变大了，实际上画质并没有本质提高，而像素比你相机能拍摄的最大像素降低了。画质上说基本是鸡肋把，但是可以提供一些方便。

2.4 图像压缩方式：

JPEG/M-JPEG

H.261/H.263

MPEG

H.264

2.5 图像噪音：

指的是图像中的杂点干挠。表现为图像中有固定的彩色杂点。

2.6 自动白平衡处理技术(auto White Balance)：

简单来说就是：摄像机对白色物体的还原。相关概念：色温。

2.7 视角：

与人的眼睛成像是相成原理，简单说就是成像范围。

2.8 自动对焦：

自动对焦可以分成两大类：一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦，另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。

注：变焦就是把远处的物体拉近。对焦是让图像清晰。

2.9 自动曝光和Gamma：

就是光圈和快门的组合。光圈，快门速度，ISO。Gamma即人眼对亮度的响应曲线。

三.摄像头模组

1.按接口分类

（1）USB摄像头：

介绍：USB摄像头是一种通过USB接口与电脑连接的摄像头设备。它具有方便易用的特点，无需额外驱动程序，即插即用。同时，USB摄像头一般都比较轻便，方便携带，适用于各种场合。USB摄像头还具有高清画质、音频效果良好、可调节视角和焦距等特点，并且适用于多种操作系统。

优点：方便易用，无需额外驱动程序；高清画质和音频效果良好；支持多种操作系统。

（2）IP摄像头：

介绍：IP网络摄像机是基于网络传输的数字化设备，具有网络输出接口，可直接将摄像机接入本地局域网。每一个IP网络摄像机都有自己的IP网址，数据处理功能，和内置的应用软件，可以当网络服务器、FTP服务器、FTP用户端和邮箱用户端。IP摄像头还包括一些特殊功能，如移动探测、警报讯号输出/输入设备和邮件支持功能。

优点：支持所有的标准模拟CCTV摄像机功能，并提供更多的系统功能；节省布线费用；支持远程监控和管理；支持多种特殊功能。

（3）MIPI摄像头：

介绍：MIPI摄像头通常是指采用MIPI（Mobile Industry Processor Interface，移动行业处理器接口）协议的摄像头。MIPI接口是一种专为移动设备和嵌入式系统设计的串行通信接口，其中CSI（Camera Serial Interface，摄像头接口）是专门用于连接摄像头模块的。MIPI接口的摄像头通常具有更高的性能，包括更高的分辨率、更高的帧率和更低的延迟。

优点：数据传输速度快，适用于高速数据传输的应用；具有更高的性能，包括更高的分辨率、更高的帧率和更低的延迟。

关于三者的区别：

应用场景：USB摄像头适用于各种需要视频通话、会议或监控的场合；IP摄像头则更适用于需要远程监控和管理的场合，如住宅小区、银行、煤矿生产等；而MIPI摄像头则主要用于需要高性能图像传输的移动设备和嵌入式系统中。

性能表现：MIPI接口的摄像头通常具有更高的性能表现，包括更高的分辨率、更高的帧率和更低的延迟，而USB摄像头和IP摄像头的性能则因具体型号和配置而异。

总之，这三种摄像头各有特点和优势，在选择时应根据实际需求和应用场景进行选择。

2.单目摄像头，双目摄像头

（1）单目摄像头

单目摄像头是由一个摄像头组成的模组，能够捕捉到周围环境的实时图像，并通过连接到监控系统或网络，使安全人员能够实时观察和响应潜在的安全威胁。

它还可以用于人脸识别和生物特征识别，借助高分辨率的图像传感器和专业的图像处理算法，可以捕捉和识别人脸特征，用于身份验证、门禁系统、支付认证等应用。

（2）双目摄像头

双目摄像头是由两个摄像头组成的模组，能够同时捕捉到不同角度、不同视角的图像。通过算法处理，双目摄像头可以模拟人眼视觉效果，实现深度感知、三维重建等功能。

在人脸识别、手势识别、虚拟现实等领域中有着广泛的应用。

3.具有距离信息的摄像头

   AR应用中应用的新型摄像头：https://photonicsens.com/