音视频学习记录

最新推荐文章于 2023-11-01 16:48:51 发布
最新推荐文章于 2023-11-01 16:48:51 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： 音视频 文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43648435/article/details/125284568
版权
本文深入探讨了音视频的基础知识，包括视频的颜色空间、颜色编码、编码方式和编码器，如H.264、H.265，以及音频的声道、采样格式、编码方法如AAC、MP3等。同时讲解了音视频封装格式MP4，传输协议RTMP，以及音视频同步等核心概念。
摘要由CSDN通过智能技术生成

视频

颜色空间

色彩转换
数字电视的格式（BT.601 BT.709 BT.2020）和接口（BT.656 BT.1120 BT.2077）
伽马空间与线性空间详解
对 Gamma 校正的个人理解
FFMPEG一些color属性处理

颜色编码

iOS中的YUV格式

YUV

Y：明亮度(Luminance,Luma),也就是灰度值
U和V：色度(Chrominance,Chroma),描述影像色彩及饱和度

采集方式
  • YUV4:4:4 (每一个Y对应一组UV分量)
  • YUV4:2:2 (每两个Y共用一组UV分量)
  • YUV4:2:0 (每四个Y共用一组UV分量)

用黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量，则三种采样方式可由下图来表示：
YUV取样

存储方式

对于packed的YUV格式，每个像素点的Y,U,V是连续交*存储的。
以YUV4:2:0为例，它又被分为YUV420P与YUV420SP
YUV420P, Plane模式(Y,U,V三个plane)将Y,U,V分量分别打包，依次存储
YUV420P
YUV420SP(NV12/NV21): two-plane模式，即Y和UV分为两个Plane,但是UV（CbCr）为交错存储
YUV420SP
设置为kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange时，表示输出的视频格式为NV12（BiPlanar指双平面模式，即将Y和UV分开存储，VideoRange指颜色空间）；
设置为kCVPixelFormatType_420YpCbCr8Planar时，表示使用I420
I420格式：y,u,v 3个部分分别存储：Y0,Y1…Yn,U0,U1…Un/2,V0,V1…Vn/2
NV12格式：y和uv 2个部分分别存储：Y0,Y1…Yn,U0,V0,U1,V1…Un/2,Vn/2
NV21格式：同NV12，只是U和V的顺序相反。

编码

帧类型

  • I frame : 自身可以通过视频解压算法解压成一张单独完整的图片
  • P frame : 需要参考其前面的一个I frame 或者B frame来生成一张完整图片
  • B frame : 既要参考其前一个I frame 或者 P frame以及其后一个P frame来生成一张完整的图片

帧或图片通常会分为几个宏块（Macroblock），宏块是运动预测的基本单位，一个完整的图像通常被分为几个宏块，如 MPEG-2 和较早期的编解码器定义宏块都是 8×8 像素，以宏块为基准选择特定的预测类型，而非整个图像都使用相同的预测类型，具体如下：

  • I 帧：只包含节点宏块。
  • P 帧：可含有节点宏区块或预测宏区块。
  • B 帧：可含有节点、预测和前后预测宏区块。
    B帧也可以被参考

编码器

H.264

H264提供的是16*16的pixel macroblocks
H264码流中SPS PPS详解
H.264 码流格式: Annex-B, AVCC与extradata详解
视频可用性信息(VUI)
X264算法参数二（VUI参数配置）
两种HDR格式(HLG, HDR10)的理解

H.265/HEVC

H265提供的是64*64
(推荐阅读)H264, H265硬件编解码基础及码流分析
H.264 视频编解码技术分享–AnnexB 和 avcC
HEVC有两种类型的NAL units，一种是VCL（video coding layer）NAL units，另一种是 non-VCL NAL units。
每一个VCL NAL unit携带一片编码的图片数据而non-VCL NAL units携带控制信息（通常是与多个编码的图片相关的控制信息）。
一个编码的图片加上与其相关的non-VCL NAL units被称为一个HEVC access unit。

mp4中，对h264/h265来说，sps/pps/vps都包含在extra data中。
h264, extra data存在于trak->mdia->minf->stbl->stsd->avc1->avcc，语法遵循 AVCDecoderConfigurationRecord
而对ts流，extra data就是一个NALU

VP8
VP9

基础概念

分辨率

视频分辨率是指视频成像产品所形成的图像大小或尺寸，通常来说，1080P 就是指 1080 x 1920 的分辨率，4 k 指 3840 x 2160 的分辨率。

码率

bitrate：比特率(码率)，秒为单位。等于视频总的大小/时长。指单位时间内传输或处理的比特的数量，单位为 bps（bit per second）也可表示为 b/s。比特率越高，单位时间传送的数据量（位数）越大。多媒体行业在指音频或视频在单位时间内的数据传输率时通常使用码率，单位是 kbps。
固定码率
可编码率

fps/frames

  1. frames：视频帧数
  2. fps：帧率(frame per second) 。一般来说 30fps 就是可以接受的，但是将性能提升至 60fps 则可以明显提升交互感和逼真感。超过 75fps 一般就不容易察觉到有明显的流畅度提升了，如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了

时间维度

  1. total_time：时间长度，ms为单位。等于duration/timescale
  2. timescale：时间的粒度，1000表示1000个单位为1s
  3. duration：时间粒度的个数
  4. videosamplenum：视频sample的个数

SAR/PAR/DAR

  1. PAR - pixel aspect ratio，单个像素的宽高比，大多数情况像素宽高比为1:1，也就是一个正方形像素，如果不是1:1， 则该像素可以理解为长方形像素。常用的PAR比率有(1:1，1
最低0.47元/天 解锁文章
要好好写代码吖。
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fMP4 BOX and how to calculate cts pts dts
Jessica_1019的博客
06-14 311
fmp4 box and cts pts dts calculate, and sap type
一文读懂 Android FFmpeg 视频解码过程与实战分析
irainsa的博客
03-31 414
本文首先以 FFmpeg 视频解码为主题，主要介绍了 FFmpeg 进行解码视频时的主要流程、基本原理；其次，文章还讲述了与 FFmpeg 视频解码有关的简单应用，包括如何在原有的 FFmpeg 视频解码的基础上按照一定时间轴顺序播放视频、如何在播放视频时加入 seek 的逻辑；除此之外，文章重点介绍了解码视频时可能容易遗漏的细节，最后是简单地阐述了下如何封装一个具有基本的视频解码功能的 VideoDecoder。
串口标准，说说流控制（RTS/CTS/DTR/DSR ）
u011708909的专栏
09-01 4684
串口标准，说说流控制（RTS/CTS/DTR/DSR ） 2010-06-03 10:03 3007人阅读 评论(0) 收藏 举报 signalterminaloutput制造inputibm "Data Terminal Equipment(数据终端设备)"的首字母缩略词DTE，具有一定的数据处理能力和数据收发能力的设备， DTE提供或接收数据，例联接到调制解调器
SAR、PAR和DAR
热门推荐
Dillon2015的博客
03-12 5万+
PAR(PictureAspect Ratio): 图像纵横比； DAR(Display Aspect Ratio):显示纵横比； SAR(Sample Aspect Ratio):样点纵横比； 注意：有的地方将PAR作为像素纵横比，SAR作为采样纵横比，两者概念正好颠倒，注意其定义。 定义 PAR图像纵横比：PAR=（每行像素数）/（每列像素数）=分辨率 SAR样点纵横比：SAR=（像素...
H264编码参数的一些小细节
weixin_30825581的博客
11-30 357
一次写播放器，基于ijkplayer。在播放一些网络视频的时候，发现无论怎么转码，视频比例始终不对。即便获取了分辨率，但是播放的时候，view不是分辨率比例的那个长宽比。使用ffmpeg查看了一下属性，见下图： 原来有几个参数，之前都没有认真对待的。SAR 2:1 DAR 32:9视频本身的分辨率是1080P，即 1920x1080 查资料才发现，视频在使用264编码的时候，使用了sa...
音视频个人学习记录
shenglei121的博客
06-20 1039
本文根据《音视频开发进阶指南》一书和雷大神讲解记录一下关于音视频压缩编码部分的学习笔记，以备后续查找。 音视频压缩主要是通过去除冗余信息来进行，包括空间上的冗余信息和时间上的冗余信息。 1.音频编码基本原理 （1）音频信号的冗余信息 数字音频信号如果不加压缩地直接进行传送，将会占用极大的带宽。例如，一套双声道数字音频若取样频率为44.1KHz，每样值按16bit量化，则其码率为：...
码牛-FFmpeg直播WebRtc音视频会议视频编辑音视频学习笔记
最新发布
2301_80019215的博客
11-01 342
学习资料学习资料。
音视频学习笔记----2，音视频编码基础学习之-H.264
SmallBottle-CGWLMX的博客
03-13 297
上一篇我们已经安装并简单介绍了FFmpeg学习所需要的一些工具和基础内容以及音视频相关的一些基础知识，本节开始记录学习H.264的过程细节，以作备忘。同样采用自我总结 + 优秀摘录的方式记录。 H.264 H.264作为新一代视频压缩编码标准具有如下特点： 1...
音视频学习笔记----3，音视频编码基础学习之-YUV与RGB
SmallBottle-CGWLMX的博客
03-13 8774
上一篇我们已经安装并简单学习了H.264的一些基础知识，本节开始记录学习YUV与RGB，以作备忘。同样采用自我总结 + 优秀摘录的方式记录。 RGB介绍： RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。 YUV简介： YUV的原理是把亮度和色度分离，人眼对亮度的敏感度超过色度。YUV三个字母中，其中”...
音视频学习笔记----1，音视频编码技术基础
SmallBottle-CGWLMX的博客
03-11 9335
声明：自我总结 + 优秀摘录。 1，环境准备 到FFmpeg官网http://ffmpeg.org/download.html#build-windows下载相应的程序软件，主要包括：ffmpeg.exe，ffplay.exe，ffprobe.exe。 编译好的windows可用版本的下载地址（官网中可以连接到这个网站，和官方网站保持同步）：http://ffm...
【ffplay】视频的宽高比详解 -PAR、DAR 和 SAR
记录分享自己的流媒体开发经验
04-02 5823
文章目录前言Pixel Aspect Ratio 像素纵横比Display Aspect Ratio 显示纵横比Sample Aspect Ratios 采样纵横比工程实战ffplay SDL渲染窗口宽高的计算技术参考 前言 在做播放器渲染的时候会遇到渲染图像拉伸的情况，一般遇到这种图像显示比例不正确，多半是没有正确处理视频的纵横比。 简单介绍以下视频的三种纵横比，PAR、DAR 和 SAR，以及实际开发当中需要注意的情况。 Pixel Aspect Ratio 像素纵横比 像素是显示图像的最小单位，就是
RK3368-android8.1-添加audio的3A算法
longmin96的博客
07-26 788
audio的3A算法补丁
PAR DAR SAR 详解 以及一些疑问
天好蓝
02-21 4135
PAR - pixel aspect ratio（可以理解为单个像素的宽高比）大多数情况为1:1,就是一个正方形像素，否则为长方形像素。常用的PAR比率(1:1，10:11, 40:33, 16:11, 12:11 ). DAR - display aspect ratio就是视频播放时，我们看到的图像宽高的比例，缩放视频也要按这个比例来，否则会使图像看起来被压扁或者拉长了似的。 SAR -
SPS、PPS、IDR
zds05的专栏
09-21 549
SPS、PPS、IDR 2016-09-21  天海一线z...  转自 蒋勤 修改 微信 分享： H.264码流第一个 NALU 是 SPS（序列参数集Sequence Parameter Set） 对应H264标准文档 7.3.2.1 序列参数集的语法进行解析 H.264码流第二个 NALU 是 PPS（图像参数集Picture Parameter
关于对ffmpeg中SAR/DAR/PAR的理解
Z网球的博客
07-28 3035
SAR: 相当于从原始图片中取出单位面积的S1的像素点渲染到播放器的S2中的宽高比。(上图SAR=4:3) DAR: 相当于把原始图片中所有像素点按照SAR的值渲染到播放器中后播放器的宽高比。(上图DAR=16:9) PAR: 相当于把原始图片中 （所有横向的像素点）：（所有纵向的像素点）。(上图PAR=4:3) DAR=PAR*SAR
视频参数 SAR,PAR,DAR
leesphone的专栏
04-17 915
1. 科普一下概念 PAR - pixel aspect ratio，单个像素的宽高比，大多数情况像素宽高比为1:1，也就是一个正方形像素，如果不是1:1， 则该像素可以理解为长方形像素。常用的PAR比率有(1:1，10:11, 40:33, 16:11, 12:11 ). DAR - display aspect ratio，显示宽高比。即最终播放出来的画面的宽与高之比。比如常见的16:9和...
音频相关基础知识（采样率、位深度、通道数、PCM、AAC）
自学半天的大一麦克的博客
12-09 3万+
单个音频采样用得较多的是16位，当然也可以使用8位，24位，甚至32位。 声道就是同时采集音频的通道数，用的较多的是2声道，也有单声道，5.1声道,7.1声道等。 采样频率就是1秒钟采样的个数，一般用44.1kHz，也可以是8kHz,11.025kHz,48kHz,96kHz等。 一帧应该是指持续采样时间，这个是很灵活的可以使用20ms，也可是200ms，一般来说时间越短延时就越少。 这样一帧的PCM数据大小就很容易计算出来：PCMBufferSize = 采样率*采样时间*采样位深/8*通道数 Bytes
MP4 封装中 ctts BOX中（ composition times）
12-04 6424
http://marycomputer.blog.163.com/blog/static/1760586412011413825709/ 仅仅使用前一个显示的基准帧来编码的帧被称为“P帧”， 同时使用前一个显示帧和未来帧作为基准帧进行编码的帧称为“B帧”。 在通常的场景中，编解码器编码一个I帧，然后向前跳过几个帧，用编码I帧作为基准帧对一个未来P帧进行编码，然后跳回到I帧
gstreamer学习笔记：通过udp传输音视频
06-11
好的，我会尽力回答你的问题。关于通过UDP传输音视频，我了解一些相关的知识，下面是一些学习笔记： 1. gstreamer是一个流媒体框架，用于创建、处理和播放多媒体流。它支持多种音视频格式，可以通过插件扩展功能。 2. 通过gstreamer可以使用UDP协议传输音视频数据。UDP协议是一种无连接的协议，不保证数据传输的可靠性和顺序性，但是传输效率高。 3. 首先需要创建一个gstreamer的pipeline，包括音视频源、编码器、UDP发送端等组件。例如： ``` gst-launch-1.0 -v filesrc location=test.mp4 ! decodebin ! x264enc ! rtph264pay ! udpsink host=192.168.1.100 port=5000 ``` 这个pipeline的作用是从test.mp4文件读取音视频流，解码后使用x264编码器进行压缩，然后使用rtph264pay将数据打包成RTP数据包，最后通过udpsink发送到指定的IP地址和端口。 4. 接收端需要创建一个gstreamer的pipeline，包括UDP接收端、解包器、解码器等组件。例如： ``` gst-launch-1.0 -v udpsrc port=5000 ! application/x-rtp, payload=96 ! rtpjitterbuffer ! rtph264depay ! avdec_h264 ! autovideosink ``` 这个pipeline的作用是从UDP端口5000接收音视频数据，使用rtpjitterbuffer解决网络抖动问题，使用rtph264depay将RTP数据包解包成原始的H.264数据流，然后使用avdec_h264解码器进行解码，最后使用autovideosink播放视频。 5. 在实际使用过程中，还需要考虑数据的带宽限制、网络延迟等问题，以保证音视频传输的效果。 希望这些笔记能对你有帮助。如果你还有其他问题，可以继续问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值