【视音频技术之基础知识】
文章平均质量分 72
本专栏主要是汇总了音视频相关技术的基础知识,包括编解码,传输,显示渲染等方面的知识。当前本专栏已经包含一些高质量的文章,后面会一直更新。
特别说明:
(1)订阅博主就能看博主全部的付费专栏和1000+篇文章。
(2)专栏总结文章全都来自博主多年工作经验总结和心血,绝对干货!
优惠券已抵扣
余额抵扣
还需支付
¥39.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
飞翔的鲲
一名音视频领域coder,喜欢深入钻研各种新技术(编解码、图像处理、算法优化等),擅长Matlab,Python,C编程。
CSDN明星博主,认证博客专家,视频、Matlab领域优质创作者。目前专注于音视频编解码和AI技术领域,开源分享,不忘初心,追求卓越!
欢迎订阅我的付费专栏,每篇都是博主的多年工作经验总结和呕心之作,任何问题都可以私信博主,必给您答疑解惑!希望我的博文可以帮助到你~
展开
-
【Codecs系列】编解码基础知识--可伸缩编码SVC
DATE:2019-10-10可伸缩编码SVC的基本原理时域SVC空域SVC质量SVCH.264H.265SVAC原创 2019-10-23 20:09:23 · 3089 阅读 · 0 评论 -
【Codecs系列】视频编码标准发展历程分析
Date: 2018.10.13文章目录Date: 2018.10.131、参考2、前言3、主要视频编码标准发展历程4、主要视频编码标准介绍4.1、JPEG4.2、MJPEG4.3、JPEG20004.4、H.2614.5、MPEG-14.6、MPEG-2/H.2624.7、H.2634.8、MPEG-4 (Part2/ASP)4.9、H.264/MPEG4 (Part10 AVC)4.10、H.265/HEVC4.11、VP8/VP94.12、AV14.13、AVS1/AVS24.14、SVAC1/原创 2018-10-14 21:40:25 · 2055 阅读 · 0 评论 -
【Codecs系列】颜色空间转换CSconvert:YUV420PtoRGB24
Date: 2018.6.10文章目录1、参考2、功能3、C实现4、实验结果1、参考http://www.360doc.com/content/16/0831/17/28378250_587310305.shtmhttps://blog.csdn.net/liyuanbhu/article/details/68951683lhttps://blog.csdn.net/Alger_magic/article/details/52487582https://blog.csdn.net/MikeD原创 2018-06-10 11:26:18 · 857 阅读 · 1 评论 -
【Codecs系列】视频编码的帧间预测技术
DATE: 2018.12.13文章目录1、参考2、帧间预测技术A、树状结构分块B、运动估计准则C、运动搜索方法D、树状分级搜索和亚像素估计E、B帧的预测F、MV的编码1、参考https://blog.csdn.net/sunnymov/article/details/4454424https://blog.csdn.net/stpeace/article/details/8173516https://www.cnblogs.com/DwyaneTalk/p/4021365.html2、帧间原创 2018-12-21 15:08:35 · 1018 阅读 · 0 评论 -
【Codecs系列】之常用码率控制算法分析
DATE: 2019-1-120、前言 视频编码中的码率控制是一种重要的编码技术,旨在保证码率平稳或者图像质量平稳,在实际应用中,码率控制应用很多,这里分析一下常用的码率控制算法。主要以当前海思IPC芯片中实现的码率控制方式为例进行分析。1、常用码率控制算法分析1.1、CBRCBR(Constant Bit Rate)固定比特率。 即在码率统计时间内保证编码码率平稳。码率稳定...原创 2019-01-12 15:21:45 · 3381 阅读 · 0 评论 -
【Codecs系列】视频编码中的率失真优化RDO技术
为了应对不同的视频内容,往往有多种候选的编码方式,编码器的一个主要工作就是以某种策略选择最优的编码 ,以实现最优的编码性能。基于率失真理论的编码参数优化方法被称为率失真优化,率失真优化技术是保证编码器编码效率的主要手段。RDO是一种视频编码技术,用于在尽可能小的编码码率下,减少图像失真度,使得编码效率达到最高。RDO的目的是:在一定的比特率下,如何使重建图像的失真最小;或者允许一定失真的条件下,用最小的比特数来编码图像。...原创 2022-08-27 09:20:34 · 1279 阅读 · 0 评论 -
【Codecs系列】编解码基础知识:广义B帧GPB简介
广义B帧(GeneralizedPandBpicture,GPB)是指对传统P帧采取类似于B帧的双向预测方式进行预测。在这种预测方式下,前向和后向参考列表中的参考图像都必须为当前图像之前的图像,且两个参考列表完全一致。对P帧采取B帧的运动预测方式增加了运动估计的准确度,提高了编码效率,同时也有利于编码流程的统一。B帧相对P帧来说,新增了三种宏块类型,分别是B_skip,B_direct以及B_BI。...原创 2022-07-21 17:38:27 · 874 阅读 · 0 评论 -
【Codecs系列】HEVC中三种Intra帧类型的区别:BLA/IDR/CRA
Date:2022.1.26LA、CRA、IDR 解释IDR、CRA、BLA、RASL、RADL、closed-gop、open-gop先进行名词解释:1、IDR:Instantaneous Decoding Refresh,即使解码刷新帧2、BLA:Broken Link Access3、CRA:Clean Random Access4、LP: Leading Pictures,包括RADL和RASL。5、RADL:Random Access Decodable Leading RASL原创 2022-07-13 11:41:47 · 862 阅读 · 0 评论 -
【Codecs系列】H.264 Direct与H.265 Merge的前世今生
Date: 2022.1.17文章目录1、参考2、H.264 Direct模式3、H.265 Merge模式4、两者的联系与区别1、参考H.264中什么是B_Direct_16x16宏块?H264 Direct预测模式2、H.264 Direct模式Direct模式不需要运动估计,只需要运动补偿即可。其运动矢量信息可以通过相邻块的运动信息推导得到。采用Direct模式的宏块像素残差不为0,而运动矢量残差MVD为0。3、H.265 Merge模式Merge模式不需要进行复杂的运动估计,只有运原创 2022-01-18 09:59:19 · 691 阅读 · 0 评论 -
【Codecs系列】编解码基础知识---并行特性:Slice, Tile和WPP
DATE: 2021-12-27文章目录1、参考2、Slice3、Tile4、Slice与Tile的关系5、WPP1、参考h264多sliceH.264中NAL、Slice与frame意思及相互关系HEVC的并行解码语法和条带结构Slice和TileH264关于一帧完整帧被分切成多个Slice时的合并思路2、Slice一幅图像可以被分割为一个或多个片(Slice),每个片的压缩数据都是独立的,Slice头信息无法通过前一个Slice的头信息推断得到。这就要求Slice不能跨过它的边界来进行原创 2021-12-27 15:10:21 · 728 阅读 · 0 评论 -
【Codecs系列】YUY2和MJPG视频编码格式区别
DATE: 2020.12.17文章目录1、参考2、YUY23、YUY2和MJPG视频编码格式区别1、参考YUY2和MJPG视频编码格式区别【Codecs系列】之YUV视频数据的存储方式总结YUV格式学习:YUV422P、YV16、NV16、NV61格式转换成RGB242、YUY2YUY2 is an interleaved YUV image format with 4:2:2 sampling. YUY2 is the interleaved equivalent of YV16.3原创 2020-12-18 11:32:35 · 3030 阅读 · 0 评论 -
【Codecs系列】GDR(Gradual Decoder Refresh)帧
DATE: 2020.9.7文章目录I帧(包括IDR和CRA):整个帧都使用Intra predictionGDR帧:将一个完整的I帧分片,分别放到其前面多个连续的P帧中,如下图中的红色块所示:转载 2020-09-07 09:29:02 · 1292 阅读 · 0 评论 -
【Codecs系列】芯片PPA问题
PPA在芯片定义时的考虑https://blog.csdn.net/aresxue/article/details/104947310原创 2020-08-21 10:55:14 · 1981 阅读 · 0 评论 -
【Codecs系列】视频质量评价指标:VMAF
DATE: 2020.8.21文章目录Netflix: VMAF 视频质量评价工具简介https://blog.csdn.net/yue_huang/article/details/79503884原创 2020-08-21 10:54:06 · 618 阅读 · 0 评论 -
【Codecs系列】量化死区dead zone的理解
DATE: 2020.7.26文章目录1、参考2、量化死区3、H.264量化死区4、H.265量化死区1、参考H.264 QuantizationHEVC量化死区2、量化死区在标量量化中,会将一定区间内的信号值量化为一个代表值,对于0附近对应的区间,就被称为死区,该区间内的信号会被量化为0。一般的量化器,可用下面的公式来表示:反量化可表示为:量化步长△△决定了量化器的编码压缩率与图像精度。如果△△比较大,相应的编码长度较小,图像细节损失较多;如果△△比较小,相应的编码长度较大,图像损原创 2020-07-27 11:58:58 · 1727 阅读 · 0 评论 -
【Codecs系列】hash散列函数:CRC
DATE: 2020.7.20文章目录1、参考2、Hash中的CRC3、CRC-Hash程序实现1、参考哈希函数——ELF HASH和CRC HASH解析Hash算法中的CRC2、Hash中的CRCCRC是通信领域中用于校验数据传输正确性的最常用机制,也是Hash算法的一个典型应用,Hash一般翻译为“散列”,也可直接音译为“哈希”,就是把任意长度的输入(又叫做预映射,pre-image)通过散列算法变换成固定长度的输出,该输出就是散列值。这种转换是一种压缩映射,也就是散列值的空间通常远小于输原创 2020-07-20 17:32:14 · 819 阅读 · 0 评论 -
【Codec系列】连续消除算法-SEA(Successive Elimination Algorithm)
连续消除算法-SEA(Successive Elimination Algorithm)原创 2020-07-13 19:30:53 · 725 阅读 · 0 评论 -
【Codecs系列】编解码基础知识--I帧与IDR帧的区别
DATE: 2019-10-23Tag:编解码基础知识–I帧与IDR帧的区别原创 2019-10-23 19:35:58 · 741 阅读 · 0 评论 -
【Codecs系列】颜色空间转换CSConvert:YUV420P转MonoY
DATE: 2019-10-19Tags: 将YUV420P转换成亮度分量Y原创 2019-10-19 21:52:08 · 320 阅读 · 0 评论 -
【Codecs系列】数据流ES、PES、TS、PS简介
DATE:2018.12.91、参考http://www.cnblogs.com/general001/articles/2303935.html2、ES、PES、TS、PS流简介数字信号实际传送的是数据流,一般数据流包括以下三种:ES流:也叫基本码流(elementary stream)或裸码流,包含视频、音频或数据的连续码流。PES流:也叫打包的基本码流,是将基本的码流ES流根...原创 2018-12-09 20:58:56 · 1069 阅读 · 0 评论 -
【Codecs系列】之主流IPC芯片硬件架构的简单分析
DATE: 2019-2-18文章目录1、参考2、主流视频编解码硬件架构2.1、TI公司 DSP芯片2.2、 HISI芯片2.3、 Amba芯片2.4、Nvidia TX1芯片1、参考DSP芯片的基本结构Ti DSP 优化基本策略TI公司之DSP结构与芯片2、主流视频编解码硬件架构2.1、TI公司 DSP芯片DSP芯片采用哈佛结构,采用流水线技术,具有特殊的DSP指令,专用硬件乘法器(MAC,AAC),再加上集成电路的优化设计可使DSP芯片的指令周期在200ns以下。DSP芯片采用的硬原创 2019-02-18 18:47:37 · 1924 阅读 · 0 评论 -
【opensource】之开源视频监控系统:iSpy
https://blog.csdn.net/leixiaohua1020/article/details/16972045http://www.ispyconnect.com/原创 2019-01-09 15:24:10 · 1953 阅读 · 0 评论 -
【Codecs】之Apple ProRes编解码器
DATE: 2019.1.91、参考https://www.apple.com/final-cut-pro/docs/Apple_ProRes_White_Paper.pdfhttps://support.apple.com/zh-cn/HT202410https://107cine.com/stream/103470/2、Apple ProResApple ProRes 编解码器提...原创 2019-01-09 15:17:23 · 1607 阅读 · 0 评论 -
【Codecs系列】解码器内存管理机制
DATE: 2018.12.5解码器内存管理机制:1、buf解码器内部开辟、内部释放,外部调用,不需要拷贝;外部使用时get一帧数据,使用完之后告知内部解码器release一帧数据;这种方式效率折中。2、buf解码器内部开辟,外部调用,需要拷贝,这种方式效率较低。3、buf由外部使用者开启,传入解码器内部,由外部管理内存,外部使用不需要拷贝。THE END! ...原创 2018-12-05 22:24:24 · 382 阅读 · 0 评论 -
【Codec系列】视频编码中图像、条带、宏块和块之间的关系梳理
DATE: 2018.12.13文章目录1、参考2、图像、条带、宏块和块之间的关系1、参考https://blog.csdn.net/xiaolei251990/article/details/82787911https://www.cnblogs.com/zhangming-blog/articles/6000518.html2、图像、条带、宏块和块之间的关系包含关系如下图所示:具体描述如下:I图像中只包含I条带;P图像中可以包含I条带和P条带;B图像Picture中可以包含I原创 2018-12-13 12:12:28 · 1736 阅读 · 0 评论 -
【Codecs系列】之视频编解码器的使用方式
编码器:码流输出方式(按包或按帧)、编码输出方式(非阻塞或阻塞)解码器:码流发送方式(流式发送或按帧发送)、图像输出方式(解码序或显示序)、解码帧存管理方式(内部开辟、外部开辟)原创 2019-01-17 15:10:13 · 911 阅读 · 0 评论 -
【Codecs系列】音视频编解码开源项目大汇总
DATE: 2018.12.30文章目录1、参考2、前言3、常用的音视频开源项目3.1、huffyuv3.2、Lame3.3、 ffmpeg3.4、webrtc3.5、live5553.6、x2643.7、Xvid3.8、x2653.9 OpenHEVC3.10、libvpx3.11、AV13.12、libmpeg23.13、libjpeg3.14、OpenJPEG1、参考http://www.data-compression.org/patents.shtmlhttp://www.cnblog原创 2018-12-30 14:45:55 · 1144 阅读 · 0 评论 -
【Audio】开源音频库G711和MP3Dec网址
DATE: 2018.12.24G.711: https://www.itu.int/itu-t/recommendations/rec.aspx?rec=911MP3Dec: https://sourceforge.net/projects/mad/files/OldFiles/mad-0.14.1b.tar.gz/download?use_mirror=master&r=&...原创 2018-12-24 10:43:36 · 900 阅读 · 0 评论 -
【Codecs系列】之视频图像编解码相关评价指标
DATE : 2019-3-4前言 图像算法、视频编解码领域对于图像质量、编码效率有各种不同的评价指标,本文重在总结讲述不同类型的评价指标,比如MSE, SSE, PSNR, SSIM, FSIM, MOS, BDBR, BDPSNR等。原创 2019-03-04 22:59:15 · 743 阅读 · 0 评论 -
【Codecs系列】之网络视频通用协议ONVIF分析
DATE: 2019-3-5参考自:ONVIF协议解读360百科-onvifONVIF协议 简介ONVIF官方网站下面介绍转载自:ONVIF协议解读一、什么是ONVIF?1.1 形成2008年5月,由安讯士(AXIS)联合博世(BOSCH)及索尼(SONY)公司三方宣布携手共同成立一个国际开放型网络视频产品标准网络接口开发论坛,取名为ONVIF(Open Network Vid...原创 2019-03-05 20:30:52 · 929 阅读 · 0 评论 -
【Codecs系列】音视频常见传输协议(RTP/RTSP/UDP)介绍
Date: 2019.3.25前言 流媒体音视频传输在不同的网络环境和应用情况下,需要不同的传输协议,比如HTTP,RTSP,UDP等。本文主要是简单介绍音视频常见传输协议及其组合使用方式。转载 2019-03-25 14:35:41 · 2833 阅读 · 0 评论 -
视频编码中的1/4像素运动估计
1/4像素运动估计运动估计的理论基础就是活动图像邻近帧中的景物存在着一定的相关性。因此在压缩编码中不需要传递每一帧的所有信息,而只需要传递帧与帧之间差值就可以了(可以想象,如果画面背景是静止的,那么只需要传递很少的数据)。在视频编码的运动估计步骤中,会查找与当前宏块或者子宏块“长得像”的宏块作为“匹配块”,然后编码传输匹配块的位置(运动矢量,参考帧)和当前宏块与匹配块之间的微小差别(残差数转载 2017-09-26 14:40:35 · 2665 阅读 · 0 评论 -
【Codecs/Tools系列】MJPEG码流解析和播放工具
DATE: 2019-9-20mjpeg的解码和播放pyqt4-mjpeg-playerMJPEG Toolsffplay-mjpeg原创 2019-09-27 21:21:19 · 1893 阅读 · 0 评论 -
【Codecs系列】关于颜色空间转换的一个思考
DATE: 2019-6-26思考点:从YUV转换到RGB(比如YUV图片保存成bmp图像),再将RGB转换成灰度图gray,那么灰度图gray与YUV中亮度分量Y有差异吗?差异有多大?验证:...原创 2019-09-19 12:10:54 · 241 阅读 · 5 评论 -
【Codecs系列】libyuv库编译使用和性能测试
DATE: 2019-9-201、参考https://github.com/lemenkov/libyuvhttps://blog.csdn.net/aabcd123456/article/details/78982528https://www.jianshu.com/p/bd0feaf4c0f9https://blog.csdn.net/shuilan0066/article/det...原创 2019-09-19 11:54:10 · 926 阅读 · 0 评论 -
【Codecs系列】颜色空间转换CSConvert:YUV420P转YUV422P
DATE: 2019.9.1【Codecs系列】颜色空间转换CSConvert:YUV420P转YUV422P原创 2019-09-01 21:54:26 · 544 阅读 · 0 评论 -
【Codecs系列】颜色空间转换CSConvert:YUV422P转YUV422SP(NV16)
DATE: 2019.9.1【Codecs系列】颜色空间转换系列:YUV422P转换成YUV422SP(NV16)原创 2019-09-01 20:02:04 · 865 阅读 · 0 评论 -
【Codecs系列】视频格式国际标准:BT601/BT709/BT2020
DATE: 2019-6-29视频基本原理 - BT709和BT1120BT601 BT656 BT709 BT1120 解析BT601 BT656 BT709 BT1120 解析BT.1120数据流解释BT601是SDTV的数据结构,BT656是SDTV的接口定义;BT709是HDTV的数据结构,BT1120是HDTV的接口定义;原创 2019-06-29 21:47:57 · 8118 阅读 · 0 评论 -
【Codecs系列】YUV处理工具系列汇总
本文包括了YUV处理的一些实用小工具,比如YUV图像水平拼接,YUV文件拼接,YUV裁剪,分割,YUV文件比较等。原创 2019-07-13 23:30:17 · 1209 阅读 · 0 评论 -
【Codecs系列】颜色空间转换CSconvert:RGB24转YUV420P
title: 颜色空间转换CSconvert:RGB24转YUV420date: 2019-07-12 22:13:47categories:技术音视频技术tags:CodecsCSconvert原创 2019-07-13 14:52:00 · 471 阅读 · 0 评论