音视频基础认知——ISP与DSP

46 篇文章 6 订阅
39 篇文章 7 订阅

很多人在学习完linux后不知道应该学什么,并且对于音视频领域的认知只限于道听途说。

这里介绍两个音视频的方向——ISP与DSP

ISP

ISP——Image Signal Process图像信号处理
在这里插入图片描述
我们先来看这张图

当看到系统框架图的时候千万不要害怕,一个块一块,一个功能一个功能去看,就可以清晰很多。

  • image sensor core——图像传感器核心
    这一部分主要是用于视频采集,就是sensor把拍到的东西(模拟信号)转化成电子设备看得懂的东西(数字信号),此时的数字信号是视频流,格式为rawRGB。这个就是模数转换
    摄像头后面有个感光元器件,这个感光元器件就被称为sensor。

  • image sensor processor——图像传感器处理
    这一部分就是将数字信号进行一系列的处理。
    这一个模块收到的信号就是由sensor模块转换过的rawRGB的视频流。
    ISP 处理的就是这个rawRGB流,主要工作就是视频调优。内容有线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制、3A算法等
    等等。
    ISP处理完后就是compression压缩,和format转换。这是因为rawRGB占用空间很大,不利于传输和存储,也不能用于后面的DSP

若想了解这其中的格式转换,需要先分别了解它们各自的存储方式 。
这些格式我都做了整理,放在下面供大家学习
详解YUV数据格式
详解RGB数据格式

  • image output interface——图像输出接口
    ISP处理完的视频流输出给下一个模块DSP,或者直接输出为图像
    这里的FIFO是一个缓冲机制,以免右边的输出停止或者左边断了
    图像输出接口将视频流输出给DSP

DSP

DSP通常有两个含义。

  • 数字信号处理(Digital Signal Processing,DSP),是一门学科技术,使用数值计算的方式对信号进行加工处理的理论和技术。

  • 数字信号处理器(Digital Signal Processor,DSP),是一种专门用于数字信号处理领域的微处理器芯片。

这里说的是DSP——Digital Signal Process数字信号处理

这里的数字信号,指的是将由sensor采集,ISP处理后的rawRGB视频流压缩转换的YUV格式视频流。

DSP是我选择的方向,介绍在下面两篇博文中

音视频项目中的DSP流程

音视频DSP中的IVS算法处理流程

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Spark!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值