H264的打包，nal，es，pes，pts，dts，ps，ts

最新推荐文章于 2024-07-09 11:34:32 发布
最新推荐文章于 2024-07-09 11:34:32 发布
阅读量1.3k 收藏 27
点赞数 23
分类专栏： 音视频 文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43657281/article/details/136425485
版权

编码层次

  • 视频编码层：预测、变换、量化、熵编码等操作
  • slice层：将视频帧分割成若干个编码单元，包含一定数量的宏块，提高编解码的并行性和容错性。
  • NAL层：提升对网络传输和数据存储的亲和性

视频编码层

  • 基准-Baseline Profile：主要用于视频会议、可视电话等实时通信领域；支持IP帧，熵编码支持 CAVLC 算法
  • 主要-Main Profile：主要用于数字电视广播、数字视频数据存储等；支持视频场编码、IPB帧。熵编码支持 CAVLC 和 CABAC
  • 扩展-Extended Profile：主要用于网络视频直播和点播等；支持基准所有特性，支持 SI 和 SP 条带

编码的概念

  • 序列：一组变化不大的图像
  • 帧：一个视频图像编码后的数据，一帧由一片或多片组成、一片由多个宏块组成。宏块是编码的基本单位
  • GOP：图像组，类似与序列
  • IDR：立即刷新帧，一定是 I帧，清空参考帧缓冲区

分层结构

在这里插入图片描述

  • SODB：视频编码层输出编码的数据后，经过数据划分，输出 SODB（String of Data Bits）数据比特串

  • RBSP：NAL层 将 SODB 打包成 RBSP （Raw Byte Sequence Payload）原始字节序列负载，在SODB 后面添加1和若干0字节对齐

  • EBSP：Encapsulated Byte Sequence Payload, 扩展字节序列载荷，RBSP加上NAL头就是一个NALU 单元，起始码 三字节的 0x000001 或 四字节的 0x00000001。access unit ，pps，sps 是 四字节。

  • NALU结束是三字节的 0x000000，防止数据中间出现0x000000，中间每遇到两个0x00就插入一个0x03
    -在这里插入图片描述

  • NAL头：8位

    • F（forbiden）禁止位 0：为1时语法错误
    • NRI 参考级别 1-2：值越大，越重要
    • TYPE Nal 单元数据类型 3-7：数据类型
      在这里插入图片描述

参数集

SPS-序列参数集

  • profile信息，baseline，main，extended
  • 码流level，不同的level定义了最大分辨率，最大帧率，最大码率，1080P30FPS20Mbps是 Level4.0
  • 色彩空间
  • 码率控制参数
  • 熵编码参数

PPS-图像参数集

  • 图像类型：IPB
  • 参考帧选择
  • 解码器配置
  • 参数集索引

ES-Elementary Streams(原始流)

  • 包含视频和音频
  • 视频是 NALU
  • 音频则是音频帧
  • 只含视频或音频
  • 由若干个 AU（Access Unit）组成

PES-Packetized Elementary Streams(分组的 ES)

  • ES流经过PES打包器形成的数据流，将ES流分组，打包，加入包头信息

PTS PresentationTime Stamp（显示时间标记）、DTS Decoding Time Stamp（解码时间标记）

  • 打包在PES包头内
  • 解决音视频同步显示
  • 防止解码器输入缓存上溢或下溢
  • 每个 IPB 帧包头都有一个 pts dts
  • B帧可以不标记 dts，因为通常同时参考前后两帧
  • B帧的解码顺序和显示顺序可能不同

PS Program Stream(节目流)

  • 由若干个 PES 包组成
  • 包含同步信息和时钟恢复信息
  • 最多可包含同一时间基准的16个视频PES和32个音频PES包
  • 可变长度的
  • 信道环境较好，传输误码率较低时使用PS码流

TS Transport Stream（传输流）

  • 定长的 TS 包组成 188 字节，或加上16字节的 CRC 校验数据
  • 是对 PES　包的重新封装
  • 信道环境较为恶劣、传输误码率较高时使用TS码流
  • 头 四字节，负载 184字节
  • 在这里插入图片描述

PAT 表，PMT 表

  • 通常只用于数字电视，实际网络传输用不到

晓暮落枫
关注
专栏目录
CMMB中的H264和AAC打包成ts流
zs_pro_popper的专栏
11-13 4100
参照tstools这个开源项目完成了CMMB的merge aac with 264 to TS. 在做的过程中，分成了几个阶段。先试着将H264打包成TS,这花了最大的精力和时间；接着将AAC打包成TS；最后将其合并起来。 一、处理H264      1、H264 -> pes      在查找了大量资料后，对H264有了初步的认识。H264的结构从大到小依次为视频序列(s
H264和音频流打包成TS流 (MPEG2-TS)
07-03
基于C/C++提供一个TS流的打包库TsMuxer.dll，并提供DEMO测试程序
关于ES、PES、PS以及TS码流
nayao-net
04-01 862
一、基本概念 1）ES ES--Elementary Streams (原始流)是直接从编码器出来的数据流，可以是编码过的视频数据流（H.264,MJPEG等），音频数据流（AAC），或其他编码数据流的统称。ES流经过PES打包器之后，被转换成PES包。 ES是只包含一种内容的数据流，如只含视频或只含音频等，打包之后的PES也是只含一种性质的ES,如只含视频ES的PES,只含音频ES的PE...
音视频封装demo：将h264数据和aac数据封装(mux)成TS文件(纯手工，不依赖第三方开源库)
最新发布
weixin_44498318的博客
07-09 685
$ make clean && make DEBUG=1 $ $ ./ts_mux_h264_aac Usage: ./ts_mux_h264_aac avfile/test1_856x480_24fps.h264 24 avfile/test1_44100_stereo.aac out1.ts ./ts_mux_h264_aac avfile/test2_720x480_30fps.h264 60 avfile/test2_48000_stereo.aac out2.ts ./ts_mu
h264之DTS、PTS
heibao111728的博客
05-11 1179
I 帧可以独立解码出一幅完整的图像，而 P 帧、B 帧不行。P 帧需要依赖视频流中排在它前面的帧才能解码出图像。B 帧则需要依赖视频流中排在它前面或后面的帧才能解码出图像。 这就带来一个问题：在视频流中，先到来的 B 帧无法立即解码，需要等待它依赖的后面的 I、P 帧先解码完成，这样一来播放时间与解码时间不一致了，顺序打乱了，那这些帧该如何播放呢？这时就需要我们来了解另外两个概念：DTS 和 PTS(详见下边说明)。 DTS、PTS 的概念如下所述： DTS（Decoding Time ...
音视频ES,PES,PS,TS介绍
wellima的博客
01-09 1851
1、ES流（Elementary stream），原始码流。是经过A/D转换、编码后输出的数据流，是直接从编码器输出的数据流； 1）ES经过PES打包，转换为PES包。 2）ES是只包含一种内容的数据流，如音频数据或视频数据。 3）打包后的PES流也只包含一种内容。   2、PES流（Packet Elementary stream），打包后的基本码流。ES流形成的分组叫PES分组，是用
流媒体基本要点简述：如何在H264数据中获取PTS？
weixin_33851429的博客
04-02 877
流媒体基本要点简述：如何在H264数据中获取PTS？ 序： 只大概说明要点。更具体的方法恕不祥叙。 我的开源工程和很多开源项目都有详细完整的实现代码。 这些要点都是我自己学习的总结，无责任保证正确性。仅做参考。 如发现有问题请丢砖头，跪求各方高人指正错误。Orz 内容： H264的ES原始数据一般是以NAL（Network Abstract Layer）的格式...
dts/pts
iteye_7202的博客
05-10 232
DTS（解码时间戳）和PTS（显示时间戳）分别是解码器进行解码和显示帧时相对于SCR（系统参考）的时间戳。SCR可以理解为解码器应该开始从磁盘读取数据时的时间。mpeg文件中的每一个包都有一个SCR时间戳并且这个时间戳就是读取这个数据包时的系统时间。通常情况下，解码器会在它开始读取mpeg流时启动系统时钟（系统时钟的初始值是第一个数据包的SCR值，通常为0但也可以不从0开始）。DTS时间戳决定了...
h.264中的DTS和PTS
u013759134的博客
09-07 610
DTS：Decoder Time Stamp，用来表示图像的解码时间。 PTS：Presentation Time Stamp，用来表示图像的显示时间。 引入这两变量主要是因为，在存在双向参考帧时，图像在编码图像的顺序和编码输出的顺序不同。
H264码合成TS专用API
09-22 1614
为方便264码转换为TS码，针对TSTOOL源码进行分析修改，做成函数接口，供方便调用。目前该接口在VS2013工程环境已经测试通过。    1.函数API-------  void   taransTs(TNAL* pNal)      输入参数：TNAL* pNal----264码流帧nalu；TNAL结构件x      返回：  无      注：生成的ts码流数据在该函数中，用户可
h264编码封装ts流及hls切片list
07-15
湖南卫视的一段hls切片，5段，每段10s，编码是h264，ts封装
H264合成TS流源码
09-22
VS2013工程下利用tstool实现h264合成TS流
RTP协议全解析（H264码流和PS流）
yinshipin007的博客
11-09 1202
本想把代码公开了，但是在Gayhub上面发现了更加优秀的项目，分享给大家。RTP的解析，网上找了很多资料，但是都不全，所以我力图整理出一个比较全面的解析。
流媒体协议RTP、RTCP、H264详解
fishmai的专栏
12-15 7418
实时传输协议（RTP）为数据提供了具有实时特征的端对端传送服务，如在组播或单播网络服务下的交互式视频音频或模拟数据。应用程序通常在 UDP 上运行 RTP 以便使用其多路结点和校验服务；这两种协议都提供了传输层协议的功能。但是 RTP 可以与其它适合的底层网络或传输协议一起使用。如果底层网络提供组播方式，那么 RTP 可以使用该组播表传输数据到多个目的地。 　　RTP 本身并没有提供按时发送
MPEG2_TS(一)-结构-复用器
朱韦刚(zhuweigangzwg)的技术博客
12-09 3411
MPEG2_TS(一)-结构-复用器 一:原理    一个复用（mux）文件或流中包含音频视频，一般都是编码之后的，例如H264 ,MP3，MP2，AAC 等等，音视频结合到一起，实现音视频同步生成一种新的复用（mux）文件或者流，例如avi，rmvb，MP4,ts等等，不同的文件或流有不同的结构和音视频流组成。本文以 H264 + MP3 = TS为例做解析。 二：流程    1：打
RTSP中TS流结构分析
不休的博客
12-22 2076
RTSP中TS流结构分析UDP数据包整体结构RTP Header结构TS Header结构PAT结构PMT结构PES Header结构ES层Wireshark抓取TS包 UDP数据包整体结构 在使用UDP传输TS流时，整个数据包结构如下： RTP Header结构 RTP结构如下图： 各字段的含义如下： 字段 含义 V RTP协议的版本号，2位，当前协议版本号为2 P 填充标志，1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组 X 扩展标志，1位，如果X=1，则在RT
H264--1--编码原理以及I帧B帧P帧
热门推荐
好记性不如写博客！
06-02 2万+
----------------------- 前言 -----------------------        H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图
H264基本原理
jacke121的专栏
04-15 2628
H264基本原理原文：https://blog.csdn.net/garrylea/article/details/78536775前言H264视频压缩算法现在无疑是所有视频压缩技术中使用最广泛，最流行的。随着 x264/openh264以及ffmpeg等开源库的推出，大多数使用者无需再对H264的细节做过多的研究，这大降低了人们使用H264的成本。但为了用好H264，我们还是要对H264的基本原...
x264_nal_t 怎么获取pts dts duration index?
06-09
`x264_nal_t`结构体是x264库中用于存储编码后的NAL数据信息的结构体，其中不包含PTS、DTS、Duration和Index等信息，需要使用外部变量或函数进行传递或计算。具体实现时，可以按照以下步骤获取PTS、DTS、Duration和Index等信息： 1. 在调用x264_encoder_encode函数进行编码时，可以将PTS和DTS作为x264_picture_t结构体变量的i_pts和i_dts字段进行设置，例如： ``` x264_picture_t pic_in, pic_out; // 设置图像数据 pic_in.i_pts = pts; pic_in.i_dts = dts; // 编码一帧图像 int ret = x264_encoder_encode(encoder, &nal, &nnal, &pic_in, &pic_out); ``` 2. 在编码完成后，可以根据视频帧率和编码时长计算出Duration信息，例如： ``` int frame_rate = 25; // 视频帧率 int duration = 1000 / frame_rate; // 每帧编码时长（毫秒） ``` 3. 在传递x264_nal_t结构体变量时，可以使用外部变量或函数传递Index信息，例如： ``` int nal_index = 0; // NAL序号 for (int i = 0; i < nnal; i++) { x264_nal_t *nal_ptr = &nal[i]; // 设置NAL信息 nal_ptr->i_ref_idc = 0; nal_ptr->i_type = NAL_SLICE; nal_ptr->i_payload = nal_size[i]; nal_ptr->p_payload = nal_data[i]; nal_ptr->i_nal_units = nnal; nal_ptr->i_nal_unit = i; nal_ptr->i_temporal_reference = nal_index++; } ``` 通过以上步骤，就可以获取到PTS、DTS、Duration和Index等信息，并将编码后的NAL数据存储到x264_nal_t结构体中。需要注意的是，具体实现时还需要根据具体情况进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值