![](https://img-blog.csdnimg.cn/20210610171303165.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
音视频学习
音视频相关技术
QtHalcon
大学一直做嵌入式和音视频方向的开发,熟悉Linux,毕业转到了CV方向,现在在深圳从事计算机视觉的工作。
展开
-
视频监控行业编解码技术的发展与应用
视频编码技术是对前端摄像机采集过来的数字视频进行压缩,在保证图像质量的情况下,采用高效的图像压缩方式,以节省传输带宽和视频存储空间。...一、 编解码技术发展现状分析目前国内主流视频监控设备厂商如大华、海康、宇视、天地伟业等,从前端球机、枪机,到后端的NVR/ESS/EVS存储、矩阵等设备,普遍使用的是MPEG-4与H.264编解码技术,因为MPEG-4/H.264编码技术比较成熟,相应的...转载 2019-04-09 22:58:17 · 1510 阅读 · 0 评论 -
H.264(一)NALU解析
移动端音频视频入门视频序列宏块结构 NALU分层H264的主要目标是为了有高的视频压缩比和良好的网络亲和性,为了达成这两个目标,H264的解决方案是将系统框架分为两个层面,VCL(视频编码层)和 NAL(网络提取层).VCL:包括核心压缩引擎和块,宏块和片的语法级别定义,设计目标是尽可能地独立于网络进行高效的编码。 NAL:负责将VCL产生的比特字符串适配到各...原创 2019-04-16 22:44:20 · 1606 阅读 · 0 评论 -
H.264(六)序列参数集(SPS)
在H.264标准协议中规定了多种不同的NAL Unit类型,其中类型7表示该NAL Unit内保存的数据为Sequence Paramater Set。在H.264的各种语法元素中,SPS中的信息至关重要。如果其中的数据丢失或出现错误,那么解码过程很可能会失败。SPS及后续将要讲述的图像参数集PPS在某些平台的视频处理框架(比如iOS的VideoToolBox等)还通常作为解码器实例的初始化信息使...原创 2019-04-25 20:32:31 · 3232 阅读 · 1 评论 -
H.264(七)图像参数集(PPS)
除了序列参数集SPS之外,H.264中另一重要的参数集合为图像参数集Picture Paramater Set(PPS)。通常情况下,PPS类似于SPS,在H.264的裸码流中单独保存在一个NAL Unit中,只是PPS NAL Unit的nal_unit_type值为8;而在封装格式中,PPS通常与SPS一起,保存在视频文件的文件头中。SPS, PPS, VPS简介1. 图像参数集PPS...原创 2019-04-25 22:43:55 · 1388 阅读 · 0 评论 -
H.264(三)熵编码和指数哥伦布编码
H.264中的语法元素符编码器解码器1. 熵编码(Entropy encoding)熵(shang)编码属于无损编码,它听着很高大上,其实简单来说,就是代表了一类编码方法。熵编码包括的编码方法有:香农-范诺编码、哈夫曼编码、算术编码、指...原创 2019-04-22 20:56:43 · 1671 阅读 · 0 评论 -
4K+SDI
4K-SDI传输技术,4K摄像机无需编码,即可把4K超高清画质传给4K录播主机,主机收到数据后进行编码。一次编码可以避免常规4K方案(网线传输)两次编码带来的画质二次损失,实现近乎无损的效果,奥威亚用4K技术,满足教学视频更高画质的需求。超高清 (UHD) 显示器来了!随着YouTUbe、Netflix和Amazon Instant Video已经开始提供4K内容,不可避免的是,现成可用的...原创 2019-04-22 20:59:07 · 3767 阅读 · 0 评论 -
H.264(二)语法函数、类别和描述子的规范
语法函数以下函数用于语法描述。这些函数假定解码器中存在一个比特流指针,这个指针指向比特流中解码过程要读取的下一个比特的位置。byte_aligned( ) 的规定如下:如果比特流的当前位置是在字节边界,即,比特流中的下一比特是字节第一个比特,byte_aligned( )的返回值为TRUE。 否则,byte_aligned( )的返回值为FALSE。more_data_in_by...原创 2019-04-18 08:33:09 · 958 阅读 · 0 评论 -
H.264(十)上下文自适应的变长编码CAVLC概念
概述:我们知道,CAVLC的全称叫做“上下文自适应的变长编码Context-based Adaptive Variable Length Coding”。所谓“上下文自适应”,说明了CAVLC算法不是像指数哥伦布编码那样采用固定的码流-码字映射的编码,而是一种动态编码的算法,因而压缩比远远超过固定变长编码UVLC等算法。在H.264标准中,CAVLC主要用于预测残差的编码。在本系列第二篇博...原创 2019-05-01 21:21:57 · 1388 阅读 · 0 评论 -
H.264(八)Slice Header
1 Slice的概念H.264的码流结构可以分为两层:网络抽象层NAL:用于传输的二进制码流包 视频编码层VCL:保存原始视频的图像数据H.264的条带:Slice表示视频图像数据的NAL Unit包含的语法元素 IDR Slice NAL type: 5 non-IDR Slice NAL type: 1定义Slice的意义:一个Slice:包含某一帧的全部或部分数据...原创 2019-04-27 19:51:18 · 4311 阅读 · 0 评论 -
H.264(九)Slice数据和宏块结构
1 Slice的组成每一个Slice总体来看都由两部分组成,一部分作为Slice header,用于保存Slice的总体信息(如当前Slice的类型等),另一部分为Slice body,通常是一组连续的宏块结构(或者宏块跳过信息),如下图所示:2 Slice Data结构的定义在已经实现了一个slice的header部分之后,下面的工作将是研究如何解析一个slice的主体,即...原创 2019-04-27 20:27:15 · 2060 阅读 · 0 评论 -
H.264(四)指数哥伦布编码(实现编码)
前面介绍了指数哥伦布编码,可以参考H.264(三)熵编码和指数哥伦布编码在H.264中,指数哥伦布编码有四个描述子,分别为ue(v)、se(v)、me(v)、te(v)。其中me(v)是最简单的,它直接靠查表来实现。而剩余的se(v)和te(v),是在ue(v)的基础上来实现的。所以它们的利害关系不明而喻,ue(v)就代表了指数哥伦布编码。下面我们就先重点介绍,无符号指数哥伦布编码:ue(...原创 2019-04-25 10:41:59 · 1392 阅读 · 0 评论 -
视频编解码基础
1视频编码系统的基本结构1. 预测编码预测编码可以用于处理视频中的时间和空间域的冗余。视频处理中的预测编码主要分为两大类:帧内预测和帧间预测。帧内预测:预测值与实际值位于同一帧内,用于消除图像的空间冗余;帧内预测的特点是压缩率相对较低,然而可以独立解码,不依赖其他帧的数据;通常视频中的关键帧都采用帧内预测。帧间预测:帧间预测的实际值位于当前帧,预测值位于参考帧,用于消除图像的时间冗...原创 2019-04-11 18:33:25 · 847 阅读 · 0 评论 -
视频编码,视频封装和视频传输
编码——生产部分视频编码可以说是一个视频文件的核心所在,(插入比喻)而这也是我们大多数用户通常并不关注的。视频编码主流上有两个标准,一个是上面所提到的H.26X系列。另一个是MPEG系列。H.26X包括H.261、H.262、H.263、H.264、H.265。H.261、H.262主要用在视频会议和视频电话中,而H.264编码则是被广泛使用在视频的录制与压缩。H.265则是在H.264的基础...原创 2019-04-11 15:11:11 · 1644 阅读 · 0 评论 -
FFmpeg打开视频文件
打开视频文件av_register_all();//注册初始化char *path = VOIDIO_NAME;AVFormatContext *ic = NULL;int re = avformat_open_input(&ic, path, NULL, NULL);if (re == 0){qDebug() << "file time = " <&l...原创 2019-02-19 09:25:50 · 1332 阅读 · 0 评论 -
音视频基础知识
1 视频编码所谓的视频编码就是指通过特定的压缩技术,将某个视频格式文件转换成另一种视频格式文件的方式 。 视频流传输中最重要的编解码标准有国际电联的 H.261 、 H .263 、 H.264,运动静止图像专家组的 M-JPEG 和国际标准化组织运动图像专家组的 MPEG 系列标准,此外在互联网上被广泛应用的还有 Real“Networks 的 RealVideo、微软公司的 WMV 以及 ...原创 2019-02-22 19:25:36 · 1054 阅读 · 0 评论 -
ISP(图像信号处理)
ISP的主要结构如下:ISP主要坐下面的工作:AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level自动曝光曝光是用来计算从景物到达相机的光通量大小的物理量。图像传感器只有获得正确的曝光,才能得到高质量的照片。曝光过度,图像看起来...原创 2019-02-28 11:02:17 · 19981 阅读 · 0 评论 -
音视频开发的技术流
音视频开发包括哪些内容其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。采集:它解决的是,数据从哪里来的问题渲染:它解决的是,数据怎么展现的问题处理:它解决的是,数据怎么加工的问题传输:它解决的是,数据怎么共享的问题每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲...原创 2019-02-24 09:39:11 · 609 阅读 · 0 评论 -
图像压缩原理
图像可压缩的原因一张原始图像(1920x1080),如果每个像素32bit表示(RGBA),那么,图像需要的内存大小1920x1080x4 = 8294400 Byte,大约8M。如果这样,1G硬盘才存100多张图片,视频也一样,如果视频是1920x1080,30fps, 1小时。那不压缩大概需要的内存:8Mx30x60*60 = 864000M,都800多G所以说,我们需要图像压...转载 2019-03-01 08:53:21 · 1196 阅读 · 0 评论 -
RTSP/RTP/RTCP/ORTP之间的关系
实时传输协议(Real-time Transport Protocol或简写RTP)是一个网络传输协议。RTSP发起/终结流媒体之后,再通过RTP协议传输流媒体数据 ,RTCP对RTP进行控制,同步。既然叫协议就要满足各自的标准,比如各自协议里面的头、参数、步骤(比如RTP步骤包含tcp/udp协议),每一层都有自己的封装,然后发送出去,接收方按照各自协议解析出来RTSP:实时流协议R...原创 2019-03-05 20:09:36 · 1286 阅读 · 0 评论 -
rawRGB和RGB
我们知道,Sensor的感光原理是通过一个一个的感光点对光进行采样和量化,但在Sensor中,每一个感光点只能感光RGB中的一种颜色。所以,通常所说的30万像素或130万像素等,指的是有30万或130万个感光点。每一个感光点只能感光一种颜色。但是,要还原一个真正图像,需要每一个点都有RGB三种颜色,所以,对于CCIR601或656的格式,在Sensor模组的内部会有一个ISP模块,会将Se...原创 2019-02-26 19:00:51 · 689 阅读 · 0 评论 -
RGB和YUV
什么是RGBRGB 模型是目前常用的一种彩色信息表达方式,它使用红、绿、蓝三原色的亮度来定量表示颜色。该模型也称为加色混色模型,是以RGB三色光互相叠加来实现混色的方法,因而适合于显示器等发光体的显示。什么是YCbCrY表示亮度,CbCr表示颜色。怎么表示颜色,可以看下面这幅坐标图:Y要如何表示亮度呢,下面是Y在不同的情况下的表现:现在的YUV是通常用于计算机领域用...原创 2019-02-26 21:12:12 · 478 阅读 · 0 评论 -
YUV与RGB格式转换
YUV格式具有亮度信息和色彩信息分离的特点,但大多数图像处理操作都是基于RGB格式。因此当要对图像进行后期处理显示时,需要把YUV格式转换成RGB格式。RGB与YUV的变换公式如下: RGB to YUV YUV to RGB 注意:在上面的式子中,RGB 的范围是 [0,255][0,255],Y 的范围是 [16,235][16,235] ,UV 的范围是...原创 2019-02-26 22:50:47 · 1691 阅读 · 0 评论 -
摄像头原理
一. 摄像头成像原理摄像头模组利用透镜成像的原理,来实现图像的成像;通过感光芯片及相关电路来记录和传输图像信号的。camera的成像框架二. 摄像头基本结构摄像头结构组成:Lens:镜头,负责成像和对焦 Holder:基座,负责固定镜头 IR:红外滤波片,负责过滤红外光 Sensor:图像传感器,负责将图像转换电信号 PCB:印刷电路板,负责供电控制及信号传输...原创 2019-03-13 23:00:05 · 53232 阅读 · 1 评论 -
H.264学习
H.264视频流分析工具(1)SpecialVH264软件:链接:https://pan.baidu.com/s/1O6UL_WDzp5zYukJvfhvixg提取码:ooid源代码:链接:https://pan.baidu.com/s/1TsOwBwezLTXvEsYUfEzauA提取码:49k1(2)基于上面的一个软件,可以同时显示二进制,https://b...原创 2019-03-21 16:58:50 · 810 阅读 · 0 评论 -
H.264官方软件JM源代码分析
JM源码地址:http://iphome.hhi.de/suehring/tml/download/参考:H.264官方软件JM源代码简单分析-编码器lencodH.264官方软件JM源代码简单分析-解码器ldecodHEVC官方软件HM源代码简单分析-编码器TAppEncoderHEVC官方软件HM源代码简单分析-解码器TAppDecoder我下载的经典版JM8.6...原创 2019-03-22 09:16:18 · 3215 阅读 · 0 评论 -
H.264 的句法和语义
H.264手册:http://www.itu.int/rec/T-REC-H.264-200503-S/en1 句法在编码器输出的码流中,数据的基本单位是句法元素,每个句法元素由若干比特组成,它表示某个特定的物理意义,例如:宏块类型、量化参数等。 句法表征句法元素的组织结构,语义阐述句法元素的具体含义。 所有的视频编码标准都是通过定义句法和语义来规范编解码器的工作流程。1.1 句法...原创 2019-03-22 21:25:38 · 399 阅读 · 0 评论 -
H.264(五)指数哥伦布编码(实现解码)
指数哥伦布编码理论:https://blog.csdn.net/qq_40732350/article/details/89459037实现指数哥伦布编码:https://blog.csdn.net/qq_40732350/article/details/89510471解码是编码的逆过程,以code_num = 5为例,我们将5通过指数哥伦布编码,编码为00110,然后再通过解码过程,将...原创 2019-04-25 14:50:31 · 1287 阅读 · 0 评论