【摄像头成像流程】CMOS-视频-WiFi

Thmos_vader

已于 2024-09-10 16:52:14 修改

阅读量737

点赞数 18

分类专栏： Lniux应用编程通信接口与协议文章标签：音视频图像处理视频编解码

于 2024-07-30 08:45:00 首次发布

本文链接：https://blog.csdn.net/Thmos_vader/article/details/140782929

版权

Lniux应用编程同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

通信接口与协议

14 篇文章 1 订阅

订阅专栏

视频采集（360）–> T507-H --> HC264 --> MIPI-CSI2 --> 手机Wifi --> 解码播放

在这里插入图片描述

采集

CMOS成像（CMOS Imaging）：

CMOS（Complementary Metal-Oxide-Semiconductor）成像是一种常见的数字图像传感器技术，广泛应用于数码相机、摄像机和智能手机等设备。在CMOS成像过程中，光线通过镜头进入CMOS图像传感器，被转换为电信号，并通过CMOS传感器中的像素阵列捕获和记录图像信息。

模数转换（Analog-to-Digital Conversion）

在CMOS成像后，模拟信号需要转换为数字信号，以便进行处理和存储。这个过程称为模数转换（ADC）。模数转换器将CMOS传感器输出的模拟信号转换为数字信号，以便后续的数字信号处理。

视频制式

视频制式主要涉及到视频的采集和显示环节，而MP4作为视频封装格式并不直接涉及制式的选择。因此，您可以根据使用环境和地区选择适当的视频制式，如NTSC、PAL等。
AHD传输（AHD Transmission）

AHD是一种用于视频监控系统的高清模拟视频传输技术。它使用同轴电缆传输高清视频信号，支持高清分辨率（720p或1080p）和长距离传输；

AHD技术主要应用于视频信号的传输过程。在AHD传输过程中，AHD摄像头通过同轴电缆将数字视频信号直接传输到AHD录像机或AHD接收器，无需进行模拟信号转换。
NTSC、PAL

视频编码

格式 HC265 --> 3D

支持Android

HEVC和HC265无区别

在这里插入图片描述

视频封装

在这里插入图片描述

传输

压缩和封装后的视频信号可以通过不同的传输方式进行传输；

例如通过有线接口（如HDMI、DisplayPort、SDI）或无线接口（如WiFi、蓝牙）。

接口标准

CVBS是一种传统的复合视频信号标准，通常使用RCA连接器进行连接。它是一种标准分辨率（通常为480i）的模拟视频信号
AV可以指代音频-视频接口，用于传输音频和视频信号的通用接口。通常，AV接口使用RCA连接器，但也可以使用其他类型的连接器，如3.5mm耳机插孔或HDMI
MIPI

在这里插入图片描述

术语总结

视频制式（Video Standards）：

视频制式主要涉及到视频的采集和显示环节，而MP4作为视频封装格式并不直接涉及制式的选择

【NTSC、PAL、NTSC、SECAM、HD、UHD、AHD】

编码（Video Coding）：

MP4格式可以容纳多种视频编码格式，常见的编码格式包括H.264/AVC、H.265/HEVC等。您可以选择适合您需求的视频编码格式。【MPEG.4（VCD）/MPEG.4 Part 10（H264）/MPEG.4 Part- H（H265）】

视频封装格式（Video Container Format）：

MP4是一种常用的视频封装格式，可以容纳视频、音频、字幕等多种媒体数据。MP4格式通常使用文件扩展名为".mp4"。【AVI、MP4（MPEG-4 Part 14）、MKV、WebM、MOV】

视频接口标准（Video Interface Standards）：

视频接口标准是用于视频信号传输的物理接口和通信协议。MP4作为视频封装格式并不直接涉及接口标准的选择。您可以根据设备和需求选择适当的视频接口标准，如HDMI、DisplayPort、SDI等。

【HDMI、DisplayPort、VGA、DVI、Thunderbolt、SDI】

成像

CMOS RGB

帧速率

Film：24->48FPS PAL：25FPS NTSC：30FPS

每秒多少字照片（FPS:帧/秒）

分辨率

宽×高：表述屏幕像素的方法之一,就是宽有多少像素,高有多少像素；

如720X576、1280X720、1920×1080、3840 X2160…

宽高比：屏幕另一个很重要的指标,如4:3、16:9。

表示法一

在这里插入图片描述

表示法二

在这里插入图片描述

4K讲的是水平像素

采样(成像)->压缩->编码>封装–>码流（视频流）->WHDI->wifi(AP)

采样

完整的色彩信息(RGB)造成数据量的巨大,为存储和读取制造了很大的麻烦；
于是人们要寻求对原始色彩信息和数据进行压缩,但仍然要保持画面清晰度和质感；

亮度与色度：人对色度更敏感，所以编码对色度处理较多（YUW）；

采样：|4：4：4|4：4：2|4：1（2）：1（0）|

视频编码

在这里插入图片描述

所谓视频编码方式就是指能够对数字视频进行压缩或者解压缩(视频解码)的程序或者设备；通常这种压缩属于有损数据压缩；
也可指通过过特定的压缩技术,将某个视频格式转换成另一种视频格式。

H264/H265（HEVC压缩标准）

MPEG.4（VCD）/MPEG.4 Part 10（H264）/MPEG.4 Part- H（H265）

ProRes mac更好

在这里插入图片描述

DNxHR 444 PC更好

在这里插入图片描述

MP4

用于存储视频和流 MPEG-4 Part 14

MP4是容器，是格式，MPEG是文件，是编码

视频封装格式

相当于一种储存视频信息的容器。它是由相应的公司开发出来的；
电脑可见1.avi,2.mpg,3.vob这些视频文件格式的后缀名即采用相应的视频封装格式的名称；
视频封装格式和编码有时名字一样（MP4）；
一种封装格式内可以有很多编码,例如mov格式里有H264、 AAC或者ProRes编码等等
通过编码、通过封装,一部影片就有了它完整的格式

在这里插入图片描述

格式简介

在这里插入图片描述

码流

指的是指每秒数据大小,单位Mb/s,就是兆比特秒。
b不等于B,b是比特B是字节,8比特=1字节,即 8b=1B。一般情况下，码流越大文件数据量就越大，影片清晰度就越高。数据传输一般用比特(b)做单位,而电脑文件用字节(B)做单位。
主流视频网站要求上传影片码流不低于23Mb，分辨率不低于1920 ×1080.

框图增强理解

在这里插入图片描述

视频无线传输的实现方式_无线视频传输技术-CSDN博客

通过无线方式在显示端显示图像，从技术层面来说，目前有两种途径予以解决。

第一种方式为传送视频数据。它的工作方式是，在视频发送端，先将视频流进行压缩，以数据包的形式无线发送到接收端，接收端收到数据包后进行重新组合，再进行解压缩还原图像。目前这种方式市面上的解决方案很多，比较有代表性的就是通过WIFI技术或UWB技术进行实现。

第二种方式为直接传送视频流，不需要对视频进行压缩和解压缩的过程。通路直观，但技术难度高，目前比较有代表性的是WHDI技术。

采用UWB和WIFI的无线视频技术，由于它是先压缩视频流再进行传送，最后进行解压还原，这个过程，是需要耗费时间的，它是导致视频延迟的直接原因，无可避免。

采用WHDI的无线视频技术，不需压缩和还原，也就省却了压缩解压的时间，从根本上能够解决延迟的产生。但是由于视频流所占的数据带宽非常高，目前无线领域中只有WHDI技术能够实现。

*传送距离*

衡量无线的主要性能之一就是传送距离。传送距离又可分为可视传送距离和遮挡传送距离。可视传送距离的含义就是在用户的视线范围之内能够看到无线传送设备的前提下，接收端的接收距离。

虽然都是无线技术，但是每家都有有自己的特点。UWB技术，是传送距离最短的一种无线技术，直线传送距离为5米左右，遮挡传送无效。无线UWB显示器，目前只能停留在短距离传送。

WIFI技术，在保证图像最小延迟及最佳分辨率的情况下，也只能够传送2~5米。当然，如果你不介意在高达1.5秒的图像延时的情况下，使用标清分辨率（480i）进行娱乐办公，相信它30米左右的传送距离会比UWB强上很多。

WHDI技术，传送距离在30米左右的范围内，图像的分辨率高达1920*1080，即1080P/60，且图像毫无延时。这得益于它本身无压缩的技术特点和先进的MIMO天线设计（4 天线X 5天线）。

什么是WHDI？

WHDI（Wireless Home Digital Interface ，即无线家庭数字接口）设定了一个无线高清晰度视频连接的新标准。它提供了一个高品质，无压缩的无线连接方式。其采用的MIMO技术和OFDM的调制方式能够实现高达3Gbps的传送速率。工作在4.9GHz~5.875GHz频段，20MHz或40MHz通道，符合全球5GHz频谱规定，范围是30米之内，可穿透墙壁，并且延迟小于1毫秒。

WHDI支持新的设备，消费者连接其A/V设备和消费内容，范围可以覆盖整个家庭，WHDI允许用户连接在家庭中的任何源到任何位置展示。使用WHDI，在客厅的电视能显示卧室里播放的蓝光播放机，高清影碟机，厨房电视能显示在家庭办公室PC上的内容，以及游戏娱乐可以在地下室投影仪玩乐，而无需移动游戏机从孩子们的卧室或地下室。WHDI这一新标准，方便通过非压缩高清视频传送，将视频播放器独立，多个室内高清视频连接使用一种革命性的视频调制解调器的办法，支持覆盖整个家庭。

WHDI指定了高清视频传输，以及音频和控制。全面WHDI控制协议将使用户能够集中控制从家庭中的所有A/V设备，传输几乎没有延迟，用户不会遇到声音和视频异步的问题，也可以利用WHDI连接网络娱乐音频视频游戏。

WHDI特点

无压缩的视频传送

WHDI技术与其他无线技术最为本质的区别在于，它能够完全无压缩的传送全高清的音视频流。目前通过无线方式传送视频主要通过两种方式：一种是在发射端通过压缩音视频流进行无线传送，在接收端解压缩还原图像的方式，以WIFI和UWB技术为代表。另外一种即通过无线方式直接传送视频源输出的影视频流到接收端，输出图像，以WHDI为代表。目前业界只有WHDI技术能够实现。

传送无延迟

由于WHDI技术提供了足够的无线带宽，无需通过压缩的方式进行传送，省却视频在压缩和解压过程中所耗费的时间，所以能够保证传送的影视频完全没有延迟。

分辨率高达1080P

WHDI技术支持高达1920X1080P的视频分辨率。后续通过软件的升级，可支持到2K X 4K的分辨率。相当于4倍的1080P。

支持7.1声道

除了能够传送全高清的视频以外，WHDI技术能够支持7.1声道（PCM）的音频传送，采样率高达24bit,192KHz。

100K的回传信道

WHDI技术本身除了能够传送音视频外，还提供了100K的回传信道。该回传信道设定的目的是为了能够让HDCP的控制协议在发射端和接收端之间进行相互验证。目前国内WHDI模块制造商世盟公司通过该信道已经实现USB键盘鼠标的回传功能，即UWTC（USB Wireless Transmission Control）技术，同时掌握多点触摸的远程控制技术。