视频像素数据_从摄像头到驱动

已于 2022-09-21 16:35:41 修改
阅读量2.2k 收藏 3
点赞数
分类专栏： 音视频 文章标签： 摄像头 UVC V4L2
于 2017-01-14 11:14:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011011827/article/details/54425757
版权

视频像素数据

视频像素数据的来源及过程

从图像源有开始说起
一种源头是硬盘上的,其实更深的源头在于制作或者拍摄
先不说硬盘,先说拍摄
那就涉及到了摄像机.

摄像机的目的是把光学图象信号转变为电信号,以便于存储或者传输。

既然涉及到了转换,那就要谈起传感器
目前的数码摄像头传感器按照…分为两种

一种是CCD（电荷藕合）元件；另一种是CMOS（互补金属氧化物导体）器件。

CCD感光器件：
CCD全称为Charge Coupled Device，中文翻译为电荷藕合器件。它使用一种高感光度的半导体材料制成，能把光线转变成电荷，然后通过模数转换器芯片将电信号转换成数字信号，数字信号经过压缩处理经USB接口传到电脑上就形成所采集的图像。

CMOS感光器件：
CMOS全称为Complementary Metal-Oxide Semiconductor，中文翻译为互补性氧化金属半导体。CMOS的制造技术和一般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电） 和 P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。

从采集的角度来说，一般的视频采集芯片输出的码流一般都是YUV数据流的形式

有些手机基带芯片只能支持2M以下的YUV sensor，3M以上只能使用JPEG sensor
由于基带芯片不能处于码流太大的视频流,所以就要求在单位事件内对图像的数据表示的大小要尽量小.
一个图像尽量小,也就是说 分辨率 * 像素所占字节 小

分辨率能不能小呢?
像素所占字节能不能小呢?怎么才算是小呢?

sensor原理

Sensor的感光原理是通过一个一个的感光点对光进行采样和量化，但在Sensor中，每一个感光点只能感光RGB中的一种颜色

通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。每一个感光点只能感光一种颜色。

要还原一个真正图像，需要每一个点都有RGB三种颜色

还原的话有几种方式

  1. 在Sensor模组的内部会有一个ISP模块，会将Sensor采集到的数据进行插值和特效处理
    实例:
    sensor输出为CCIR601或656的格式(YUV)
    例如：如果一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算出此点的G、B值，那么，这一点的RGB值就被还原了，然后在编码成601或656的格式传送给Host。
    ​
  2. 将没个感光点感应到的RGB数值直接传送给Host，由Host来进行插值和特效处理。
    实例:
    Sensor输出为RAW RGB格式
    Raw RGB 每个像素只有一种颜色（R、G、B中的一种）；
    在手机摄像头的测试过程中，由sensor输出的数据就是Raw data（Raw RGB），经过彩色插值就变成RGB
    RGB 每个像素都有三种颜色，每一个的值在0~255之间

sensor输出分为四种,一种是YUV,一种是raw RGB.一种为RGB,一种为JPEG

模组就是sensor

第一种,sensor输出的为YUV,
第二种,sensor输出的是Raw RGB(sensor的bayer阵列获取的数据（每种传感器获得对应的颜色亮度）)
第三种,RGB:传统的红绿蓝格式，比如RGB565，其16-bit数据格式为5-bitR+6-bitG+5-bitB。G多一位，原因是人眼对绿色比较敏感
第四种:JPEG:有些sensor，特别是低分辨率的，其自带JPEGengine，可以直接输出压缩后的jpg格式的数据

第二种输出的数据不是图像的实际数据，模组测试时，就要写一个软件，完成数据采集（获得Raw data）－>彩色插值（目的是获得RGB格式，便于图像显示）－>图像显示；这样就可以发现整个模组是否正常，有无坏点，脏点的等，检测出不良品；（软件的处理过程当中，为了获得更好的图像质量，还需要白平衡，gamma校正，彩色校正）

对于第二种输出的数据,在手机的应用中，手机根据相机模组的数据格式，提供一个ISP（主要用于RGB格式的），配合软件，使照相功能得到应用

视频采集卡输出

sensor 的输出信号给到外围设备(可以是视频采集卡),然后由外围设备处理,然后输出.输出的数据交由电脑进行视频处理.

一般的外围设备给到内存的码流一般都是YUV数据流的形式.

视频处理

在这个阶段,输入为YUV数据,输出可以是H.264或MPEG.

视频处理都是在原始YUV码流进行编码和解析.

至于视频是按照什么格式流入的,是怎么对每帧图像进行判断的,怎么存储的,怎么编码的,怎么输出的,后来再说

视频显示

视频显示的话,输入为RGB数据,然后输出为图像.

至于输入的RGB数据时什么格式的,是怎么输出图像的,后来再说

视频存储

这个视频的存储是不是只是说视频在硬盘上的存储?

视频存储每帧中的每个像素可以用rgb表示,也可以用yuv表示

如果用rgb表示的话,只能用打包存储的方式存储,但是这种打包存储也分好几种存储格式

如果用yuv表示的话,可以用打包存储的方式,也可以用平面存储的方式存储.每种存储方式都对应好几种存储格式.

先说RGB

RGB pixel formats

再说YUV

YUV pixel formats

RGB与YUV

RGB中的R/G/B的取值范围都是[0,255]

RGB与YUV之间的转换

Y = (0.257 * R) + (0.504 * G) + (0.098 * B) + 16

Cb = U = -(0.148 * R) - (0.291 * G) + (0.439 * B) + 128

Cr = V = (0.439 * R) - (0.368 * G) - (0.071 * B) + 128

Y的取值范围是[16,235.045]
U的取值范围是[16.055,239.945]
V的取值范围是[16.055,239,945]

一个亮度信号（Y）

红色差信号(R-Y)

蓝色差信号(B-Y)

严格上讲，色差信号共有三个，即R-Y，B-Y，G-Y。但只有两个是独立的，第三个可用另外两个求出。

YUV

YUV也是一种颜色编码方法,像素格式亮度参量和色度参量分开表示

  1. 可以避免相互干扰
  2. 降低色度的采样率而不会对图像质量影响太大
  3. 解决了彩色电视机与黑白电视的兼容问题
  4. YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽。

主要用于电视系统以及模拟视频领域

YUV码流有多种不同的格式，要分析YUV码流，就必须搞清楚你面对的到底是哪一种格式，并且必须搞清楚这种格式的YUV采样和分布情况。

采样: 比例
分布:打包还是平面

平常所讲的YUV A:B:C的意思一般是指基于4个象素来讲,其中Y采样了A次，U采样了B次,V采样了C次.4个像素是一个宏像素

YUV 格式可以分为打包格式packed format和平面格式planar format。

  1. 打包格式将YUV分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素（macro-pixel）；
  2. 平面格使用三个数组分开存放YUV三个分量，就像是一个三维平面一样。

Packed format和planner format的区别在于

  1. packed format中的YUV是混合在一起的，因此就有了UYVY、YUYV等等，他们在码流中排列的方式有所不同。
  2. 对于planner format每一个Y分量，U分量和V分量都是以独立的平面组织的，也就是说所有的U分量都在Y分量之后出现，而V分量在所有的U分量之后。就像三个大色块一样。

摄像头驱动

部分摄像头是UVC摄像头,就是是免驱的,驱动在内核中配置就好了.

// USB Video Class
CONFIG_MEDIA_SUPPORT=y
CONFIG_MEDIA_USB_SUPPORT=y
CONFIG_MEDIA_CAMERA_SUPPORT=y
CONFIG_VIDEO_DEV=y
CONFIG_I2C=y
CONFIG_VIDEO_V4L2=y
CONFIG_USB_VIDEO_CLASS=y

关于怎么看一个摄像头是不是免驱
http://www.cnblogs.com/emouse/archive/2013/03/03/2941938.html

而这个摄像头驱动是依照V4L写出来的,这个标准已经升级到第二版,所以是V4L2
函数
http://blog.chinaunix.net/uid-26101960-id-3297657.html
框架
http://blog.csdn.net/eastmoon502136/article/details/8190262/

通过V4L2的接口可以获得当前摄像头驱动所支持的所有数据格式以及分辨率等信息。

  • UVC camera 内核数据流程
    在这里插入图片描述

用户层代码

在这里插入图片描述

摄像头工具

luvcview -L
将摄像头插到Linux机器上，直接使用命令luvcview获得当前摄像头所支持的所有数据格式以及分辨率信息

__pop_
关注
专栏目录
摄像头的数据采集和TCP网络传送
12-02
在linux下用摄像头采集数据转换成rgb 然后传给 window下用c#wpf显示，简单的DEMO ，没有压缩 没有通信任何协议，需要1M/s的速率，适合入门。
基于html5实现摄像头数据的采集和上传
05-19
花了半个月做出来的网页，借鉴了网上很多的代码和方法，当然也修改了不少地方，主要是网上的很多无法直接使用。基于html5实现摄像头数据的采集和上传，在xampp下可以直接使用，也可以直接在支持php等的服务器上直接使用，因为做出来比较辛苦，所以资源分设置高了点。 在Opera下直接使用，不支持html5或者支持不良好的浏览器可能无法使用，我使用的Opera的版本是“版本：27.0.1689.54”
Windows 摄像头数据
weixin_34015336的博客
12-29 245
1、 FFmpeg获取DirectShow设备数据（摄像头，录屏） http://blog.csdn.net/leixiaohua1020/article/details/38284961 2、 转载于:https://www.cnblogs.com/CodeSkill/p/5085598.html
摄像头读取数据
杨善锦技术专栏
04-02 469
视觉摄像头读取方法
linux内核驱动摄像头图片,详解linux 摄像头驱动编写
weixin_29053695的博客
04-29 161
对于现代嵌入式设备，特别是手机来说，摄像头是很重要的一个设备。很多同学买手机，一看颜值，第二就看摄像头拍照如何。所以，从某个角度来说，摄像头是各个厂家主打的应用功能。那么，linux是如何支持摄像头的，我们可以来看一下？1、代码目录地址drivers/media2、v4l2框架目前linux上的camera都是按照v4l2框架来设计，它的地址位于drivers/media/v4l2-core3、查...
图像--摄像头数据输出格式与传输接口
jfl558604的博客
03-04 3619
封装的裸芯片是芯片主体和I/O端子在晶体上方，在焊接时将此裸芯片用导电/导热胶粘接在PCB上（Die bond），凝固后，用Wire Bonder 机将金属丝(Al或Au)在超声、热压的作用下，分别连接在芯片的I/O端子焊区和PCB相对应的焊盘上，测试合格后，再封上树脂胶。上的DSP 进行处理，MTK 自带的 DSP 一般包含 ISP、JPEG encoder、和 DSP 控。RESET为复位管脚，一般管脚为低，camera处于硬复位状态，其各个IO恢复到出厂默认状态；模组把原始的数字信号传给 BB。
GC5025.tar.gz_RK camera_camera_gc5025 RK3368_gc5025驱动_rk摄像头驱动
07-15
《GC5025.tar.gz：RK3368平台上的GC5025摄像头驱动详解》 在嵌入式系统开发中，摄像头驱动扮演着至关重要的角色，它连接硬件设备与软件应用，使得图像捕获和处理成为可能。本文将深入探讨针对RK3368平台的GC5025...
sp.rar_USB VC摄像头_usb 视频捕获_usb摄像头_捕获摄像头bmp
09-24
标题“sp.rar_USB VC摄像头_usb 视频捕获_usb摄像头_捕获摄像头bmp”和描述“基于vc 用于捕获USB摄像头视频，保存为BMP”揭示了一个关于使用Visual C++（VC）开发的项目，该项目专注于从USB摄像头捕获视频流并将其...
gc2355_mipi_raw_摄像头gc2355驱动_
10-03
"mipi_raw"可能表示驱动程序支持MIPI接口，并且处理的是未经处理的原始图像数据，这意味着驱动会处理从传感器获取的原始像素信息，然后将这些数据转换成可以被上层应用或操作系统进一步处理的形式。 关于GC2355驱动...
实验35 摄像头实验.rar_nobodytu1_stm32 实验_unlesskhr_摄像头驱动
09-24
"实验35 摄像头实验"是一个典型的STM32摄像头驱动开发实例，通过这个实验，我们可以学习到STM32摄像头驱动的基本原理、配置方法以及实际操作步骤。 首先，我们要了解STM32的摄像头接口特性。STM32的CAM接口支持多种...
实验35 摄像头实验.zip_OV7670摄像头程序_chainjwe_ov7670 战舰_摄像头_驱动板
09-20
总之，这个实验旨在提升开发者对嵌入式系统中摄像头驱动和图像处理的理解，通过实践掌握OV7670与微控制器的交互方法，以及液晶显示技术。这对于物联网、智能家居、机器人等领域的应用开发具有重要的基础作用。
USB CAMERA ISP 1080P
12-13
The XJ566AJG is a USB 2.0 High-Speed (HS) compatible PC camera controller. The low power design provides extreme low consumption on device standby, operation and even high performance state. The low thermal design gets the module operating temperature inside platform under reasonable range. The XJ566AJG is fully compliant with USB Video Class. The OS systems supported are including Windows XP, Windows Vista, Windows 7 and the coming Windows 8.
摄像头Camera视频源数据采集解析
热门推荐
zhang_jun_ling的博客
10-16 2万+
一、前言在视频直播中一般都是两种视频数据源，一个是摄像头数据，一个是录制桌面数据，而一般来说美女妹子直播都是来自于摄像头数据，游戏直播都是录制桌面数据的，那么今天就来看看第一个数据源数据采集分析，Android中使用摄像头的场景很多，在没有直播这个行业出现之前，之前用到摄像头的最多就两个场景，一个是二维码扫描，一个是美颜拍照类的应用。那么这里就来看看Android中的摄像头的用法，以及如何进行数据采
像素数据的读取和拷贝
皮皮虾图形学
12-05 897
glReadPixels(0, 0, mRenderWidth, mRenderHeight, GL_RGBA, GL_UNSIGNED_BYTE, mPixels); 将像素从目标缓存回读到CPU应用程序当中。glMapBuffer()返回缓存对象管理的显存指针映射区域。 效率更高。矩形像素区域的拷贝： glBindFramebuffer(GL_READ_FRAMEBUFFER, srcFb
像素、像素密度、位图和矢量图
最新发布
JackZhouMine
06-19 1352
正如你所看到的，图像由无数个色块组成，它们都有着独立的颜色，类似于马赛克的效果，每一个色块被称作一个像素（Pixel），在扫描图片时我们需要选择分辨率的高低，这里的PPI（Pixel Per Inch，每英寸中的像素数量）就是代表分辨率，每英寸中的像素点越多，则代表图像越清晰，随之所产生的电子文件也越大。ppi也一样，像素不是固定大小的，它是随着密度变化而变化的，ppi越大，像素越多，图片显示越清晰。通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰，印刷的质量也就越好。
RGB、YUV像素基础知识及处理数据
努力努力再努力L
07-28 1398
RGB、YUV像素基础知识及处理数据 目录 RGB YUV RGB、YUV像素数据处理 转载自Gemfield的知乎文章：从YUV到RGB 转载自雷神的博客：视音频数据处理入门：RGB、YUV像素数据处理 1. RGB 1. RGB基本概述 RGB色彩模式是工业界的一种颜色标准，是通过对红®、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。 通常
RGB、YUV像素数据处理
HAKUNA
03-07 483
The scope of the terms Y′UV, YUV, YCbCr, YPbPr, etc., is sometimes ambiguous and overlapping. Historically, the terms YUV and Y′UV were used for a specific analog encoding of color information in television systems, while YCbCr was used for digital encodin
摄像头YUV图像常见数据格式介绍
kunkliu的博客
03-08 1735
1、YUV模型分类： 是根据一个亮度(Y分量)和两个色度(UV分量)来定义颜色空间，常见的YUV格式描述有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV422、YUV420等， 其中常见的YUV422包含YUVY ，UYVY，YUV422P等 比较常见的YUV420分为两种：YUV420P和YUV420SP 在DVD中，UV色度信号被存储成Cb和Cr(C代表颜色，b代表蓝色，r代表红色) 2、YUV采样比例： YUV444 4:
摄像头镜头的常见参数
小灰灰的博客
05-31 4087
较小的光圈会让进入相机的光线更少，需要更长时间的曝光时间来获取足够的光线，适合拍摄风景等固定画面；防抖（Stabilization）：指摄像头镜头内置的防抖系统，可以通过自动调整镜头位置来减少拍摄时的抖动和晃动。光学变焦（Optical Zoom）：指摄像头镜头通过改变镜头的焦距来实现对物体的放大和缩小，相比数字变焦，光学变焦可以保持图像质量的同时实现画面的放大和缩小。对焦距离决定了物体在照片上的清晰度，不同的摄像头镜头有不同的对焦距离范围。变焦范围（Zoom range）：指摄像头可以调整焦距的范围。
OV7675摄像头驱动深度解析与调试经验
这一过程中，数据流从OV7675传感器经过CAMIF，然后被处理并传送到应用层。 三、CAM驱动调试问题 在调试过程中，可能会遇到的问题包括但不限于： 1. 接口信号异常：如CLK、RST、HSYNC、VSYNC、PCLK信号不正常，可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值