影音视频技术

转自： http://blog.sina.com.cn/s/blog_5fd6a0e50100dn0k.html1、http://www.tkn.tu-berlin.de/research/vid/（此网站已经移走，正在寻找。）   CIF： Akiyo、Bridge (far) 、Bridge (close) 、Bus 、Container 、Coastguard 、

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动

首先，还是要弄清楚编解码的流程和 H.264 的关键技术，看白皮书就知道了，另外 H.264 综述类的文章和别人的学位论文一般也会讲到；其次其次，弄清楚代码的各个函数实现的功能，这个可以看看 JM 代码里各个函数前面的函数说明；最后最后，弄清楚标准各个章节讲的什么内容：这里只说重要的。第三章是名词解释，第四章是缩略语，第五章是一些计算方式和运算符号的说明，第六章是与 H.264 相关的一些

OpenMaxOpenMAX (Open Media Acceleration) is a royalty-free, cross-platform set of C-language programming interfaces that provides abstractions for routines especially useful for audio, video

http://blog.csdn.net/tx3344/article/details/8117908通过上文知道了，每个AwesomePlayer 只有一个OMX服务的入口，但是AwesomePlayer不一定就只需要1种解码器。有可能音视频都有，或者有很多种。这个时候这些解码器都需要OMX的服务，也就是OMX那头需要建立不同的解码器的组件来对应着AwesomePlayer中不同的c

原地址: http://blog.csdn.net/evanwu_85/archive/2010/07/08/5722041.aspx 一、基本概念 1 比特率：表示经过编码（压缩）后的音频数据每秒钟需要用多少个比特来表示，单位常为kbps。 2 响度和强度：声音的主观属性响度表示的是一个声音听来有多响的程度。响度主要随声音的强度而变化，但也受频率的影响。总的说，中频纯音听

1. 音频简介      经常见到这样的描述: 44100HZ 16bit stereo 或者 22050HZ 8bit mono 等等.     44100HZ 16bit stereo: 每秒钟有 44100 次采样, 采样数据用 16 位(2字节)记录, 双声道(立体声);     22050HZ 8bit  mono: 每秒钟有 22050 次采样, 采

视频质量评价参数编码质量评价主要通过全参考视频质量评价算法实现。全参考视频质量评价算法通过比较编码前原始视频与编解码后受损视频获得视频质量的评价结果。最常见的全参考视频质量评价模型为PSNR和SSIM。PSNRPSNR（峰值信噪比）是使用最为广泛的视频质量评价方法。它的计算公式为：其中L为图像灰度值范围，对于8bit位深的图像来说L=2^8-1=255；M*N图像块的MSE

x264是一个 H.264/MPEG4 AVC 编码器，本指南将指导新手如何创建高质量的H.264视频。    对于普通用户通常有两种码率控制模式：crf（Constant Rate Factor)和Two pass ABR。码率控制是一种决定为每一个视频帧分配多少比特数的方法，它将决定文件的大小和质量的分配。    如果你在编译和安装libx264 方面需要帮助，请查看ffmpeg和x2

一、DXVA介绍DXVA是微软公司专门定制的视频加速规范，是一种接口规范。DXVA规范制定硬件加速解码可分四级：VLD，控制BitStream；IDCT，反余弦变换；Mocomp，运动补偿，Pixel Prediction；PostProc，显示后处理。其中，VLD加速等级最高，所以其包含IDCT、MoCoopm和PostProc；IDCT加速次之，包含MoCoopm和PostProc；最

AAC英文全称为Advanced Audio Coding，中文意思是进阶音讯编码。因其相比目前流行的MP3音频格式，拥有更多的音轨声道支持，更高的采样率和采样精度，同时有多种语言的兼容能力，更高的解码效率，目前已经逐渐成为MP3格式的后继接棒者。一般来说，AAC可以在对比MP3文件缩小30%的前提下提供更好的音质。目前主流使用的AAC编码器有三种，分别是：1、Nero AAC 编

原创 2017-09-27 马思伟 声网Agora本文根据RTC2017实时互联网大会，下一代云端音视频技术专场，马思伟老师的演讲，整理得来。http://mp.weixin.qq.com/s/nn7DngWwVAKBGDD-1d6jYQ马思伟：北京大学信息科学技术学院教授， 2005年博士毕业于中国科学院计算技术研究所。2005年8

【编者按】Android 视频相关的开发，大概一直是整个 Android 生态、以及 Android API 中，最为分裂以及兼容性问题最为突出的一部分，本文从视频编码器的选择和如何对摄像头输出的 YUV 帧进行快速预处理两方面，从实践角度解析笔者曾趟过 Android 视频编码的那些坑，希望对广大读者有所助益。http://blog.csdn.net/byeweiyang/article/det

http://blog.csdn.net/jwzhangjie/article/details/8739139FFMPEG多线程编码器一般以在Slice内分功能模块进行多线程编码，如h263，h263P，msmpeg(v1, v2, v3)，wmv1。包含以下几个线程：(1)Pre_estimation_motion_thread运动估计前的准备;(2)Estimation_motio

文/许建林在实时多媒体领域，实时视觉、感知的展现将会有更加广泛的发展空间，而对于实时视频传输的基础核心技术莫过于 H.264 编码标准。本文作者尝试解答 H.264 编解码最核心的两个问题，其一是 H.264 编解码的过程；其二是 H.264 码流的结构，希望能帮助正在研究这方面的大家提供一些帮助。我在今年年初离开 YOLO 加入了一家在流媒体领域具有极深积累的小公司，负责

笨重的显卡、更强大的 CPU、高分辨率显示屏，所有这些都对高品质3D 视觉体验十分重要——无论是对于游戏还是 VR。但如果用户需要等 n 年才能下载好高清内容，数据太大又无法直播，那么所有这一切都变得不重要。这就是为什么互联网巨头们——比如谷歌，会投入巨大时间精力来研究压缩数据的新方法。上周，谷歌发布了一个开源 3D 模型压缩库"Draco"，它功能简单但是潜力不可限量。Draco 由谷歌

在线视频作为互联网第一大应用已经毋庸置疑，通过网络看直播，看电影综艺，发布小视频正在成为我们每天的生活常态。更高清晰度、更高比特率、更节省网络流量是当下在线视频几个最核心的需求。而支撑和推动这些需求的，是播放器背后看不到的视频编解码与视频传输两大底层支柱性技术。视频传输主要由CDN产业把控，近两年来视频直播的大火带动了CDN供应商之间围绕着传输技术和价格的白热化竞争。而技术门槛更高更复杂的

http://blog.csdn.net/halleyzhang3/article/details/11473961http://www.360doc.com/content/14/0119/10/8122810_346350456.shtmlAndroid 用MediaCodec实现视频硬解码本文向你讲述如何用android标准的API （Medi

Ffmpeg/x264 (profile High, level 3.0) (latest versions of x264)We have successfully been using ffmpeg/libx264 with two pass encoding using the following commands: infile ="video.avi" tmpfile=

一、OpenCV中的硬编码OpenCV2.4.6中，已实现利用GPU进行写视频，编码过程由cv::gpu::VideoWriter_GPU完成，其示例程序如下。int main(int argc, const char* argv[]) {     if (argc != 2)     {         std::cerr "Usage : video_writer "       

设计HEVC/H.265硬件视频编码器的和其他复杂的数字信号处理相比，视频编码标准本身并不复杂，在制定标准时候已经考虑到可实现性问题。但视频编码有其自身的特点，主要特点在于单位时间需要处理的数据量十分庞大，尤其是编码画面越来越大的情况下。以1080P@30fps为例，即使每个像素点分配2个时钟的运算时间，也要超过100MHz的系统时钟才能实现实时编码，而在2个时钟内，要完成一个像素包括亮度

MPEG- 4 是由MPEG（Moving Picture Expert Group 动态图像专家组）制定的一个ISO 和IEC 标准，该委员会曾经制定出获得艾美奖的标准——MPEG- 1（VCD）和MPEG- 2（DVD）。这些标准使在CD- ROM 和数字电视上制作交互视频成为可能。MPEG- 4 是国际组织和遍布世界的几百位研究者与工程师合作的成果。MPEG- 4 的标准号是ISO/ IEC

H. 264/ AVC 是新一代视频编解码标准，提供了诸多以往视频算法所没有的新特性，以提高编码效率。这些新特性包括：● 　利用临近块的边界像素的Intra 空间预测，提供16 × 16、8 × 8、4 × 4 预测模式。● 　多参考帧的运动补偿。比起以前的视频编码标准，H. 264/ AVC 以更灵活的方式使用更多的重建帧作为参考帧。在某些情况下，可以使用最多32 个参考帧（在以

HEVC/H.265视频软硬件编码的概念是相对的，通常把基于处理器平台实现的编码器称为软编码，典型如基于PC/ARM/DSP的视频编码器，而硬编码则通常指基于数字逻辑电路搭建的视频编码器，典型如基于FPGA平台以及SOC芯片中的编码器硬核等。软硬件编码器在设计方法上迥然不同。软编码是在特定的硬件平台上实现的，它所对应的硬件资源是固定的，如它在单位时间内的运算处理能力是固定的，对于设计者而言

一、DXVA介绍DXVA是微软公司专门定制的视频加速规范，是一种接口规范。DXVA规范制定硬件加速解码可分四级：VLD，控制BitStream；IDCT，反余弦变换；Mocomp，运动补偿，Pixel Prediction；PostProc，显示后处理。其中，VLD加速等级最高，所以其包含IDCT、MoCoopm和PostProc；IDCT加速次之，包含MoCoopm和PostProc；最

H264规定了三种主要档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 1、基本档次（Baseline Profile）：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信。2、主要档次（Main Profile）：支持隔行视频，采用B片的帧间编码和采用加权预测的帧

在2010年，ITU-T VCEG和ISO/IEC MPEG共同立项了联合项目HEVC(High Efficiency Video Coding)，开始研究和制定下一代视频压缩标准，将主要目标定义在1080P分辨率上，相比 当前主流的视频压缩算法提高一倍左右的压缩比，并提供更高分辨率的有效支持。这一标准，也被视为目前安防行业普遍应用的H.264/AVC算法的继任者H.265。2013年初，HEVC

H. 264 是联合视频组JVT 开发的一个新的数字视频编码标准，它既是ITU- T 的H. 264 算法，又是ISO/ IEC 的MPEG- 4 的第10 部分。1998 年1 月份开始征集H. 264 算法草案，1999 年9 月完成第一个草案，2001 年5 月制定了其测试模式TML- 8，2002 年6 月JVT 第5 次会议通过了H. 264 的FCD 版，2003 年5 月，ITU 正

视频压缩中，每帧代表一幅静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的。  简单地说，I帧是关键帧，属于帧内压缩。就是和AVI的压缩是一样的。 P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。  I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）P帧

应该说真正了解TS，还是看了朋友推荐的《数字电视业务信息及其编码》一书之后，MPEG2 TS和数字电视是紧密不可分割的，值得总结一下其中的一些关系。ISO/IEC－13818－1：系统部分；ISO/IEC－13818－2：视频；ISO/IEC－13818－3：音频；ISO/IEC－13818－4：一致性测试；ISO/IEC－13818－5：软件部分；ISO/IEC－1381

熵编码即编码过程中按熵原理不丢失任何信息的编码。信息熵为信源的平均信息量（不确定性的度量）。常见的熵编码有：香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)。在视频编码中，熵编码把一系列用来表示视频序列的元素符号转变为一个用来传输或是存储的压缩码流。输入的符号可能包括量化后的变换系数，运动向量，头信息（宏块头，图象头，序列的头等）以及附加

阅读完H264/AVC 编解码器的介绍，脑海中只是留下以下三条：1、H264并没有明确规定一个编解码器如何实现，只是规定了一个编码后的视频比特流的句法，和该比特流的解码方法，这个与MPEG 相似。2、H264和以前的标准（如H261、H263、MPEG-1、MPEG-4）的编解码器实现流程没有太大区别，主要的不同在于各功能块的细节。3、H264就是利用实现的复杂性获得压缩性

1、预测编码           压缩算法的本质就是去除信号间的冗余，什么是信号的冗余呢？信号之间的相关性就是冗余，人类听觉或视觉系统感觉不到的或者掩蔽的也可以当做冗余成分。今天谈谈预测编码的概念，这是一种非常直观和简单易行的方法。说它直观，以图像为例，前后两帧或者同一图像的相邻像素都存在着相似性、相关性，我们完全可以通过当前帧和一组预测系数，推测出下一帧图像，当然也可以从当前像素推测出周

1、宏块（Macro Block）：一个编码图像首先要划分成多个块（4x4 像素）才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。宏块分为I、P、B宏块，I宏块只能利用当前片中已解码的像素作为参考进行帧内预测；P宏块可以利用前面已解码的图像作为参考图像进行帧内预测；B宏块则是利用前后向的参考图形进行帧内预测；以下是宏块的句法单元，来自参考文献22、

OS:CentOS6.4-64bit--------编译 FFMPEG with h265--------1.安装 hg tool#yum install hg2.下载 x265 source code 并 make#hg clone https://bitbucket.org/multicoreware/x265#cd x265/build/lin

前面讲到了关于NAL打包成RTP后进行发送，那么这些NAL应该怎么得到呢？当然如果有现成的H264数据就可以直接用了，但是一般我们的摄像头采集的数据都不是H264格式的，那就需要编码。而且在我们这个项目中是需要进行图像算法处理的，在这些opencv中用到的图基本上都是BGR格式的Mat图，所以处理完后的图像需要重新进行X264编码，生成一个个的NAL后打包成RTP发送出去，这样就会在实现高清的同时