音视频学习-音视频基础

已于 2023-08-16 14:57:09 修改
阅读量1.1k 收藏 7
点赞数 1
文章标签： 音视频 学习
于 2023-08-16 14:52:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a130226123/article/details/132313949
版权

`

文章目录

一、 音视频录制原理

在这里插入图片描述

二、音视频播放原理

在这里插入图片描述

三、图像基础概念

◼ 像素：像素是一个图片的基本单位，pix是英语单词picture的简写，加上英语单词“元素element”，就得到了“pixel”，简称px，所以“像素”有“图像元素”之意。
◼ 分辨率：是指图像的大小或尺寸。比如1920x1080。
◼ 位深：是指在记录数字图像的颜色时，计算机实际上是用每个像素需要的位深来表示的。比如红色分量用8bit。
◼ 帧率：在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。比如25fps表示一秒有25张图片。
◼ 码率：视频文件在单位时间内使用的数据流量。比如1Mbps。
◼ Stride：指在内存中每行像素所占的空间。为了实现内存对齐每行像素在内存中所占的空间并不一定是图像的宽度。

1.像素

像素是一个图片的基本单位，pix是英语单词picture的简写，加上英语单词“元素element”，就得到了“pixel”，简称px，所以“像素”有“图像元素”之意。
例如2500×2000的照片就是指横向有2500个像素点，竖向有2000个像素点，总共是500万个像素，也俗称500万像素照片。
在这里插入图片描述

2.分辨率

图像（或视频）的分辨率是指图像的大小或尺寸。我们通常用像素表示图像的尺寸。例如2500×2000的照片就是指横向(宽)有2500个像素点，竖向(高)有2000个像素点。

常见的分辨率：
360P(640x360)、720P(1280x720)、1080P(1920x1080)、4K(3840x2160)、8K(7680x4320)

不同分辨率之间的区别：
常说的 1080 和 720 其实是指垂直像素数，分辨率除去垂直像素，还需要考虑到水平像素数。按照 16:9 (宽 : 高) 的比例计算，720p 的水平像素数为 720 ÷ 9 × 16 = 1280，总计像素为921600像素即大约为 92 万像素。1080p 具有 1920 个水平像素，总计2073600像素即约 200 万像素，是 720p 的两倍多。
像素越多视频就越清晰，所以 1080p 比 720p 的视频更加清晰。图像的分辨率越高，图像就越清晰。
在这里插入图片描述
在这里插入图片描述

3.位深

在这里插入图片描述
我们看到的彩色图片，都有三个通道，分别为红®、绿(G)、蓝(B)通道。（如果需要透明度则还有alpha分量）

通常每个通道用8bit表示，8bit能表示256种颜色，所以可以组成256256256=16,777,216 = 1677万种颜色。
这里的8bit就是我们讲的位深。

每个通道的位深越大，能够表示的颜色值就越大，比如现在高端电视说的10bit色彩，即是每个通道用10bit表示，每个通道有1024种颜色。102410241024约为10,7374万色=10亿色， 是8bit的64倍。
常见的颜色还是8bit居多。

4.帧率

帧率即 FPS（每秒有多少帧画面），经常玩游戏的应该会对这个词很熟悉。我们玩游戏时，FPS 帧率越高就代表游戏画面越流畅，越低则越卡顿。视频也是如此。由于视觉图像在视网膜的暂时停留，一般图像帧率能达到24帧，我们就认为图像是连续动态的。
电影帧率一般是 24fps（帧每秒）；
电视剧一般是25fps；
监控行业常用 25fps；
音视频通话常用15fps；
帧率越高，画面越流畅，需要的设备性能也越高。

5.码率

◼ 视频文件在单位时间内使用的数据流量。比如1Mbps。
◼ 大多数情况下码率越高 分辨率越高，也就越清晰。但模糊的视频文件大小（码率）也可以很大，分辨率小的视频文件可能也比分辨率大的视频文件清晰。
◼ 对于同一个原始图像源的时候，同样的编码算法，则码率越高，图像的失真就会越小，视频画面就会越清晰

6.Stride跨距

◼ Stride ：指在内存中每行像素所占的空间。为了实现内存对齐每行像素在内存中所占的空间并不一定是图像的宽度。
◼ Stride 就是这些扩展内容的名称，Stride 也被称作 Pitch，如果图像的每一行像素末尾拥有扩展内容，Stride 的值一定大于图像的宽度值，就像下图所示：
◼ 比如分辨率638x480的RGB24图像，我们在内存处理的时候如果要以16字节对齐，则6383/16=119.625不能整除，因此不能16字节对齐，我们需要在每行尾部填充6个字节。就是(638+2->640), 6403/16=120。此时该图片的stride为1920字节。
在这里插入图片描述

四、RGB、YUV

◼ RGB：红R、绿G、蓝B三基色。
◼ YUV：“Y”表示明亮度（Luminance或Luma），也就是灰阶值，“U”和“V”表示的则是色度（Chrominance或Chroma）。

1.RGB

通常我们采用RGB模型来表示颜色，RGB模型中，每种颜色需要3个数字分别表示R、G、B，每个数字占用1个bit字节，这样总共需要24bits。
image.png
如果添加透明度，则总共需要32bits。
在这里插入图片描述

2.YUV

◼ 与我们熟知RGB类似，YUV也是一种颜色编码方法，它是指将亮度参量（Y：Luminance
或Luma）和色度参量（UV：Chrominance或Chroma）分开进行表示的像素编码格式。
◼ 这样分开的好处就是不但可以避免相互干扰，没有UV信息一样可以显示完整的图像，
因而解决了彩色电视与黑白电视的兼容问题；还可以降低色度的采样率而不会对图像
质量影响太大，降低了视屏信号传输时对频宽（带宽）的要求。
◼ Y Y共用一组UV分量
在这里插入图片描述
◼ YUV是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式：
◼ 打包（packed）格式：将每个像素点的Y、U、V分量交叉排列并以像素点为单元连续的存放
在同一数组中，通常几个相邻的像素组成一个宏像素（macro-pixel）
◼ 平面（planar）格式：使用三个数组分开连续的存放Y、U、V三个分量，即Y、U、V分别存放在各自的数组中。
◼ YUV采用A:B:C表示法来描述Y,U,V采样频率比例，下图中黑点表示采样像素点Y分量，
空心圆表示采样像素点的UV分量。主要分为 YUV 4:4:4、YUV 4:2:2、YUV 4:2:0 这几种
常用的类型
在这里插入图片描述
◼ 4:4:4 表示色度频道没有下采样，即一个Y分量对应着一个U分量和一个V分量。
◼ 4:2:2 表示 2:1 的水平下采样，没有垂直下采样，即每两个Y分量共用一个U分量和一个V分量。
◼ 4:2:0 表示 2:1 的水平下采样，2:1 的垂直下采样，即每四个Y分量共用一个U分量和一个V分量。
◼ 下面以每个分量数据存储在一个char（或byte）中为例描述YUV的数据存储方式。

1. 4:4:4格式

◼ 比如I444(YUV444P)格式, 对应Ffmpeg像素表示AV_PIX_FMT_YUV444P, ///< planar YUV
4:4:4, 24bpp, (1 Cr & Cb sample per 1x1 Y samples)
在这里插入图片描述

2. 4:2:2格式

◼ 对应Ffmpeg像素表示AV_PIX_FMT_YUV422P, ///< planar YUV 4:2:2, 16bpp, (1 Cr& Cb sample per 2x1 Y samples)
◼ 该类型为planar格式
在这里插入图片描述

3. 4:2:0格式

◼ I420(YUV420P)格式
◼ 对应Ffmpeg像素表示AV_PIX_FMT_YUV420P, ///< planar YUV 4:2:0, 12bpp, (1 Cr& Cb sample per 2x2 Y samples)
◼ 该类型为planar格式
◼ (4+1+1)/4 = 1.5字节
在这里插入图片描述
◼ NV12格式
◼ 对应Ffmpeg像素表示AV_PIX_FMT_NV12, ///< planar YUV 4:2:0, 12bpp, 1 plane
for Y and 1 plane for the UV components, which are interleaved (first byte U and
the following byte V)
在这里插入图片描述

4. 4:2:0数据格式对比

在这里插入图片描述
◼ YUV420p：
YV12：YYYYYYYY VV UU
I420： YYYYYYYY UU VV
◼ YUV420sp：
NV12：YYYYYYYY UV UV
NV21：YYYYYYYY VU VU

3.RGB和YUV的转换

◼ 通常情况下RGB和YUV直接的相互转换都是调用接口实现，比如Ffmpeg的swscale或者libyuv等库。
◼ 主要转换标准是 BT601 和 BT709。
8bit位深的情况下
◼ TV range是16-235(Y)、16-240(UV) , 也叫Limited Range
◼ PC range是0-255，也叫Full Range
◼ 而RGB没有range之分，全是0-255

◼ BT601 TV Range转换公式

YUV(256 级别) 可以从8位 RGB 直接计算：
Y = 0.299*R + 0.587*G + 0.114*B;
U = -0.169*R - 0.331*G + 0.5 *B ;
V = 0.5 *R - 0.419*G - 0.081*B;
反过来，RGB 也可以直接从YUV (256级别) 计算:
R = Y + 1.402 (Y-128)
G = Y - 0.34414 (U-128) - 0.71414 (U-128)
B = Y + 1.772 (V-128)

◼ 从YUV 转到 RGB 如果值小于0要取0，如果大于255要取255

RGB和YUV的转换-为什么解码出错显示绿屏？
因为解码失败时YUV分量都填为0值，然后根据公式：
R = 1.402 * (-128) = -126.598
G = -0.34414*(-128) - 0.71414*(-128) = 44.04992 + 91.40992 = 135.45984
B = 1.772 * (-128) = -126.228
RGB 值范围为[0，255]， 所以最终的值为：
R = 0
G = 135.45984
B = 0
此时只有G分量有值所以为绿色。
YUV -> RGB
在这里插入图片描述

4.YUV Stride对齐问题

比如分辨率638x480的YUV420P图像，我们在内存处理的时候如果要以16字节对齐，则638不能被16整除，我们需要在每行尾部填充2个字节。就是640。此时该图片的Y stride为640字节。
在这里插入图片描述

五、视频的主要概念

1.基本概念

视频码率：kb/s，是指视频文件在单位时间内使用的数据流量，也叫码流率。码率越大，说明单位时间内取样率越大，数据流精度就越高。

视频帧率：fps，通常说一个视频的25帧，指的就是这个视频帧率，即1秒中会显示25帧。帧率越高，给人的视觉就越流畅。

视频分辨率：分辨率就是我们常说的640x480分辨率、1920x1080分辨率，分辨率影响视频图像的大小。

2.I P B帧

  1. I 帧（Intra coded frames）：
    I帧不需要参考其他画面而生成,解码时仅靠自己就重构完整图像;

     I帧图像采用帧内编码方式;
 I帧所占数据的信息量比较大;
 I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择;
 I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
 I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
 I帧不需要考虑运动矢量;

  2. P 帧（Predicted frames）：
    根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据，同时利用了空间和时间上的相关性。
    P帧属于前向预测的帧间编码。它需要参考前面最靠近它的I帧或P帧来解码。

  3. B 帧（Bi-directional predicted frames）：
    B 帧图像采用双向时间预测，可以大大提高压缩倍数。需要参考前面的I帧和它后面的帧就行预测。
    在这里插入图片描述

3.视频文件封装格式

封装格式（也叫容器），就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中，也就是说仅仅是一个外壳，或者大家把它当成一个放视频轨和音频轨的文件夹也可以。说得通俗点，视频轨相当于饭，而音频轨相当于菜，封装格式就是一个碗，或者一个锅，用来盛放饭菜的容器。 下面是几种常用的 视频文件后缀类型 与其相对应的 封装格式。

视频文件格式视频封装格式
.aviAVI（Audio Video Interleaved）
.wmv、.asfWMV（Windows Media Video）
.mpg、.mpeg、.vob、.dat、.3gp、.mp4MPEG（Moving Picture Experts Group）
.mkvMatroska
.rm、.rmvbReal Video
.movQuickTime File Format
.flvFlash Video

4.音视频编码方式

  1. 视频编码方式
    视频编码的作用：将视频像素数据（RGB，YUV 等）压缩成视频码流，从而降低视频的数据量。
名称推出机构推出时间目前使用领域
HEVC（H.265）MPEG/ITU-T2013研发中
H.264MPEG/ITU-T2003各个领域
MPEG4MPEG2001不温不火
MPEG2MPEG1994数字电视
VP9Google2013研发中
VP8Google2008不普及
VC-1Microsoft Inc.2006微软平台
视频文件格式视频封装格式释义
.aviAVI(Audio Video Interleave)图像质量好，但体积过于庞大，压缩标准不统一，存在高低版本兼容问题。
.wmvWMV(Windows Media Video)可边下载边播放，很适合网上播放和传输
.mpg .mpeg .mpe .dat .vob .asf .3gp .mp4MPEG(Moving Picture Experts Group)由运动图像专家组制定的视频格式，有三个压缩标准，分别是 MPEG-1、MPEG-2、和 MPEG-4，它为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。
.mkvMatroska一种新的视频封装格式，它可将多种不同编码的视频及 16 条以上不同格式的音频和不同语言的字幕流封装到一个 Matroska Media 文件当中。
.rm、.rmvbReal VideoReal Networks 公司所制定的音频视频压缩规范称为 Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。
.movQuickTime File FormatApple 公司开发的一种视频格式，默认的播放器是苹果的 QuickTime。这种封装格式具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。
.flvFlash Video由 Adobe Flash 延伸出来的一种网络视频封装格式。这种格式被很多视频网站所采用。
  1. 音频编码方式
    音频编码的作用： 将音频采样数据（PCM 等）压缩成音频码流，从而降低音频的数据量。 常用的音频编码方式有以下几种：
名称推出机构推出时间目前使用领域
AACMPEG1997各个领域（新）
MP3MPEG1993各个领域（旧）
WMVMicrosoft Inc.1999微软平台
AC-3Dolby Inc.1992电影

六、音频基础

1.声音的物理性质

  1. 振动
    声音是一种由物体振动引发的物理现象，如小提琴的弦声等。物体的振动使其四周空气的压强产生变化，这种忽强忽弱变化以波的形式向四周传播，当被人耳所接收时，我们就听见了声音。

  2. 波形
    声音是由物体的振动产生的，这种振动引起了周围空气压强的振荡，我们称这种振荡的函数表现形式为波形.
    在这里插入图片描述

  3. 频率
    声音的频率是周期的倒数，它表示的是声音在1秒钟内的周期数，单位是赫兹(Hz)。千赫(kHz),即1000Hz,表示每秒振动1000次。声音按频率可作如下划分:

      次声		                 0～20Hz
  人耳能听见的声音 	20Hz～20KHz
  超声					    20KHz～1GHz
  特超声					1GHz～10THz

  4. 振幅
    声音有振幅，振幅的主观感觉是声音的大小。声音的振幅大小取决于空气压力波距平均值(也称平衡态)的最大偏移量。

2.数字音频

计算机并不直接使用连续平滑的波形来表示声音，它是每隔固定的时间对波形的幅值进行采样，用得到的一系列数字量来表示声音。下方右图 是经过数字采样的波形示意图。
PCM脉冲编码调制
PCM(Pulse Code Modulation)，脉冲编码调制。人耳听到的是模拟信号，PCM是把声音从模拟信号转化为数字信号的技术。
在这里插入图片描述

  1. 采样频率
    根据Nyguist采样定律，要从采样中完全恢复原始信号波形，采样频率必须至少是信号中最高频率的两倍。

    前面提到人耳能听到的频率范围是[20H~20kHz]，所以采样频率一般为44.1Khz，这样就能保证声音到达20Khz也能被数字化，从而使得经过数字化处理之后，人耳听到的声音质量不会被降低。

    采样频率：每秒钟采样的点的个数。常用的采样频率有：

采样频率应用领域
22000（22kHz）无线广播
44100（44.1kHz）CD音质
48000（48kHz）数字电视，DVD
96000（96kHz）蓝光，高清DVD
192000(192kHz)蓝光，高清DVD
  1. 采样量化
    采样是在离散的时间点上进行的，而采样值本身在计算机中也是离散的。
    采样值的精度取决于它用多少位来表示，这就是量化。例如8位量化可以表示256个不同值，而CD质量的16位量化可以表示65 536个值，范围为[-32768, 32767]。

下图是一个3位量化的示意图，可以看出3位量化只能表示8个值:0.75,0.5,0.25,0,─0.25,─0.5,─0.75和 ─1，因而量化位数越少，波形就越难辨认，还原后的声音质量也就越差(可能除了一片嗡嗡声之外什么都没有)
在这里插入图片描述

3.音频常见名词

采样频率：每秒钟采样的点的个数。

采样精度（采样深度）：每个“样本点”的大小，
常用的大小为8bit， 16bit，24bit。

通道数：单声道，双声道，四声道，5.1声道。

比特率：每秒传输的bit数，单位为：bps（Bit Per Second）
间接衡量声音质量的一个标准。
没有压缩的音频数据的比特率 = 采样频率 * 采样精度 * 通道数。

码率： 压缩后的音频数据的比特率。常见的码率：
96kbps： FM质量
128-160kbps：一般质量音频。
192kbps： CD质量。
256-320Kbps：高质量音频
码率越大，压缩效率越低，音质越好，压缩后数据越大。
码率 = 音频文件大小/时长。

例如：

采样频率44100，采样精度16bit，2通道（声道），采集4分钟的数据
大小：44100*16*2*4*60= ‭338688000‬bit
‭338688000‬/8/1024/1024 = 40M字节
比特率：采样频率 * 采样精度 * 通道数 = 44100*16*2= 1411200bit/s

帧：每次编码的采样单元数，比如MP3通常是1152个采样点作为一个编码单元，AAC通常是1024个采样点作为一个编码单元。

帧长：可以指每帧播放持续的时间：每帧持续时间(秒) = 每帧采样点数 / 采样频率（HZ）
比如：MP3 48k, 1152个采样点,每帧则为 24毫秒
1152/48000= 0.024 秒 = 24毫秒；
也可以指压缩后每帧的数据长度。

交错模式：数字音频信号存储的方式。数据以连续帧的方式存放，即首先记录帧1的左声道样本和右声道样本，再开始帧2的记录…
在这里插入图片描述

非交错模式：首先记录的是一个周期内所有帧的左声道样本，再记录所有右声道样本
在这里插入图片描述

4.音频编码原理简介

数字音频信号如果不加压缩地直接进行传送，将会占用极大的带宽。例如，一套双声道数字音频若取样频率为44.1KHz，每样值按16bit量化，则其码率为：
2*44.1kHz*16bit=1.411Mbit/s
如此大的带宽将给信号的传输和处理都带来许多困难和成本（阿里云服务器带宽大于5M后，每M价格是100元/月），
因此必须采取音频压缩技术对音频数据进行处理，才能有效地传输音频数据。

数字音频压缩编码在保证信号在听觉方面不产生失真的前提下，对音频数据信号进行尽可能大的压缩，降低数据量。数字音频压缩编码采取去除声音信号中冗余成分的方法来实现。所谓冗余成分指的是音频中不能被人耳感知到的信号，它们对确定声音的音色，音调等信息没有任何的帮助。

冗余信号包含人耳听觉范围外的音频信号以及被掩蔽掉的音频信号等。例如，人耳所能察觉的声音信号的频率范围为20Hz～20KHz，除此之外的其它频率人耳无法察觉，都可视为冗余信号。

此外，根据人耳听觉的生理和心理声学现象，当一个强音信号与一个弱音信号同时存在时，弱音信号将被强音信号所掩蔽而听不见，这样弱音信号就可以视为冗余信号而不用传送。这就是人耳听觉的掩蔽效应，主要表现在频谱掩蔽效应和时域掩蔽效应。

  1. 音频编码-频谱掩蔽效应
    一个频率的声音能量小于某个阈值之后，人耳就会听不到。当有另外能量较大的声音出现的时候，该声音频率附近的阈值会提高很多，即所谓的掩蔽效应。如下图所示：
    在这里插入图片描述
    由图中我们可以看出人耳对2KHz～5KHz的声音最敏感，而对频率太低或太高的声音信号都很迟钝，当有一个频率为0.2KHz、强度为60dB的声音出现时，其附近的阈值提高了很多。由图中我们可以看出在0.1KHz以下、1KHz以上的部分,由于离0.2KHz强信号较远，不受0.2KHz强信号影响,阈值不受影响；而在0.1KHz～1KHz范围，由于0.2KHz强音的出现,阈值有较大的提升，人耳在此范围所能感觉到的最小声音强度大幅提升。如果0.1KHz～1KHz范围内的声音信号的强度在被提升的阈值曲线之下，由于它被0.2KHz强音信号所掩蔽，那么此时我们人耳只能听到0.2KHz的强音信号而根本听不见其它弱信号，这些与0.2KHz强音信号同时存在的弱音信号就可视为冗余信号而不必传送。

  2. 音频编码-时域掩蔽效应
    当强音信号和弱音信号同时出现时，还存在时域掩蔽效应。即两者发生时间很接近的时候，也会发生掩蔽效应。时域掩蔽过程曲线如图所示，分为前掩蔽、同时掩蔽和后掩蔽三部分。
    在这里插入图片描述
    时域掩蔽效应可以分成三种：前掩蔽，同时掩蔽，后掩蔽。
    前掩蔽是指人耳在听到强信号之前的短暂时间内，已经存在的弱信号会被掩蔽而听不到。
    同时掩蔽是指当强信号与弱信号同时存在时，弱信号会被强信号所掩蔽而听不到。
    后掩蔽是指当强信号消失后，需经过较长的一段时间才能重新听见弱信号，称为后掩蔽。这些被掩蔽的弱信号即可视为冗余信号。

  3. 音频编码-压缩编码方法
    当前数字音频编码领域存在着不同的编码方案和实现方式, 但基本的编码思路大同小异, 如图所示。
    在这里插入图片描述
    对每一个音频声道中的音频采样信号：
    1)将它们映射到频域中,这种时域到频域的映射可通过子带滤波器实现。每个声道中的音频采样块首先要根据心理声学模型来计算掩蔽门限值；
    2)由计算出的掩蔽门限值决定从公共比特池中分配给该声道的不同频率域中多少比特数，接着进行量化以及编码工作；
    3)将控制参数及辅助数据加入数据之中，产生编码后的数据流。

5.音视频同步

DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

音视频同步方式：
Audio Master：同步视频到音频
Video Master：同步音频到视频
External Clock Master：同步音频和视频到外部时钟。
一般情况下 Audio Master > External Clock Master > Video Master

6.常用的音频编码

  • AAC，英文全称 Advanced Audio Coding，是由 Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同开发，在 1997 年推出的基于 MPEG-2 的音频编码技术。2000 年，MPEG-4 标准出现后，AAC 重新集成了其特性，加入了 SBR 技术和 PS 技术，为了区别于传统的 MPEG-2 AAC 又称为 MPEG-4 AAC。
  • MP3，英文全称 MPEG-1 or MPEG-2 Audio Layer III，是当曾经非常流行的一种数字音频编码和有损压缩格式，它被设计来大幅降低音频数据量。它是在 1991 年，由位于德国埃尔朗根的研究组织 Fraunhofer-Gesellschaft 的一组工程师发明和标准化的。MP3 的普及，曾对音乐产业造成极大的冲击与影响。
  • WMA，英文全称 Windows Media Audio，由微软公司开发的一种数字音频压缩格式，本身包括有损和无损压缩格式。

总结

音视频技术基础知识
yuan_ahui的博客
08-08 7687
一、音视频基本原理1、音视频的主要处理过程：[1]. 采集。比如从客户端的摄像头、麦克风和本地原始文件等，获得基础的音视频数据；[2]. 预处理。在这个阶段其实就是对音视频进行修剪操作，毕竟收集到的原始数据，不一定是想要在最后呈现的效果，因此在这里可能会进行美颜、裁剪、AI识别处理、声音A3处理等；[3]. 编码。在经过预处理或者没处理过的原始文件，一般都会比较大，不适合进行传输，这个时候就需要进行压缩、转码之类的操作，减 少文件提交，然后再进行传输，执行编码的工具叫编码器，压缩数据的算法叫做编码格式；[4
音视频学习-H264帧基础知识
翻肚鱼儿的博客
04-07 2602
一组图像 GOP 所谓GOP就是1组图像Group of Picture，在这一组图像中有且只有1个I帧，多个P帧或B帧，两个I帧之间的帧数，就是一个GOP。 GOP一般设置为编码器每秒输出的帧数，即每秒帧率，一般为25或30，当然也可设置为其他值。 在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP 开始才有可能得以恢复，所以GOP值也不宜设置过大。 由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，
从开发小白到音视频专家
weixin_34390996的博客
12-03 5841
这是由一篇我的演讲稿整理出来的文章，目标读者是对音视频开发感兴趣但是又不知道如何下手的初学者们，希望把我的经验分享出来，对大家有所帮助。 1. 成长的烦恼 经常收到一些网友的来信或者留言，反馈如下这样的困惑： “我是一名应届毕业生，该如何快速地成长起来”“我只懂 C/C++，是学 Android 开发有前途，还是 iOS 开发有前途？”“我是一名 Android/iOS 开发，已经可以独立完成一...
音视频基础知识（一）
weixin_30781775的博客
05-22 156
数据------>解协议----->封装格式数据---->解封装---（音视频流数据）---->(音视频解码)--->音视频数据--->（硬件加速声卡，显卡）-->呈现出画面与声音 1.协议层：（protocol layer）----http/rtmp/file 2.封装层：（format layer）-----mkv/mp4/flv/avi 3.编...
音视频基础知识
QtHalcon
02-22 1105
1 视频编码 所谓的视频编码就是指通过特定的压缩技术，将某个视频格式文件转换成另一种视频格式文件的方式 。 视频流传输中最重要的编解码标准有国际电联的 H.261 、 H .263 、 H.264，运动静止图像专家组的 M-JPEG 和国际标准化组织运动图像专家组的 MPEG 系列标准，此外在互联网上被广泛应用的还有 Real“Networks 的 RealVideo、微软公司的 WMV 以及 ...
音视频入门/音视频基础
热门推荐
u013862108的博客
02-21 1万+
直播产品的种类： 泛娱乐化直播：        花椒，映客等娱乐直播， 斗鱼，熊猫，yy 等游戏直播 实时互动直播 音视频会议，教育直播等， 像思科，全时，声网 直播架构： todo 常用的工具: ffmpeg , ffplay, flashplayer,   搭建流媒体服务： 准备流媒体服务器（Linux 或 Mac) 编译并安装Nginx 服务 配置RTMP 服务并启动 N...
音视频入门
无聊的专栏
07-04 562
最近在熟悉iOS音视频相关的内容。音视频主要内容包括：编解码、封装与解封装、相关网络传输协议以及音视频同步。 大致关系如下图（从网上搜到的）：   协议： 类似于http一样，音视频通讯有rtmp、hls等网络应用层协议，这些应用层协议规定了按照怎样的规则对数据进行传输。比如hls就规定将数据进行分段，然后首先拉取一个根index文件，之后根据这个索引文件拉取次级索引文件，最后根据这些...
音视频学习系列
weixin_30732825的博客
03-07 256
为什么要学习音视频 该技术比较火，如抖音，快手等APP 系统提供的MediaPlayer已经无法满足我们的需求，因为它不能支持所有的格式 对音视频比较感兴趣，最近开发了一款音乐App，但用的只是MediaPlayer，逼格不够高 想学习更多的技术 音乐播放器SofarMusic 该系列会持续更新，因为我最近正在学习 参考网站 http://blog.51cto.c...
C/C++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器
02-19
接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何...
转-压箱底的音视频学习资料， c++音视频学习资料
02-28
在学习音视频开发时，了解这些基础知识至关重要，它们不仅帮助开发者理解音频处理的原理，还能指导实现各种编码、解码和封装操作。对于面试或实际项目，熟悉这些概念可以提高工作效率，解决实际问题。在实践中，还应...
c++音视频解码项目，音视频资源的接入，拆包、软解码
最新发布
03-05
这是一个音视频解码项目。音视频资源的接入，拆包、软解码使用了ffmpeg3.3.8.硬解码准备用mediacodec解决，opengl使用了egl环境。语言部分为了以后的可移植性考虑，使用了c++11标准 适合学习/练手、毕业设计、课程...
音视频小白入门--1wm音视频到底是什么.pdf
08-27
"音视频小白入门"这份资料正是为对音视频领域感兴趣的新手设计的引导性学习材料，旨在帮助初学者理解这个领域的基础知识。 首先，音视频入门引言部分提到，随着5G的商用推广，音视频行业将迎来前所未有的融合和发展...
浅谈视音频
ytz201201的博客
03-13 456
一、三基色原理和混色 1、三基色原理： （1）互逆性：自然界中任何颜色都可以通过三基色进行混合得到。反过来，三基色也可以组成几乎所有颜色（因为三基色具有独立性，无法被合成）。 （2）独立性：三基色中任何一种都无法由其余两种合成。 （3）混合性：三基色比例不同，最终混合色的色调和饱和度也不同。 （4）叠加性：混合色的亮度等于三基色亮度之和。 2、混色法： 将三基色按一定比例混合在一起得
音视频学习
shanshenyuyou的博客
05-22 499
现在音视频如此火爆，作为一枚专业的程序媛哪能不懂音视频的开发呢，所以踏上了音视频研究之路。对于ios来说音视频编解码主要有两种编解码框架FFmpeg和苹果ios8以后开放的Vid...
【Android 音视频开发-音视频硬解码篇】1.音视频基础知识
yinshipin007的博客
11-02 1086
这是一个入门系列，涉及的知识也仅限于够用。 最后，写文章过程中，会借鉴参考其他人分享的文章，会在文章最后列出，感谢这些作者的分享。不知道大家小时候是否玩过一种动画小人书，连续翻动的时候，小人书的画面就会变成一个动画，类似现在的gif格式图片。本来是一本静态的小人书，通过翻动以后，就会变成一个有趣的小动画，如果画面够多，翻动速度够快的话，这其实就是一个小视频。 而视频的原理正是如此，由于人类眼睛的特殊结构，画面快速切换时，画面会有残留，感觉起来就是连贯的动作。所以，视频就是由一系列图片构成的。 视频帧 帧，是
音视频-编解码-Agent的强化学习与通信技术研究及应用.pdf
04-16
这篇论文主要探讨了音视频编解码领域中，Agent的强化学习与通信技术的应用和研究。Agent在音视频处理中的作用在于，它们能够通过自我学习和与其他...这篇研究为音视频处理和智能系统设计提供了新的理论基础和技术方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值