流媒体协议HLS解析

已于 2023-02-28 18:31:14 修改
阅读量4.6k 收藏 18
点赞数 4
分类专栏： 流媒体 文章标签： HLS M3U8 TS H264 AAC
于 2019-09-18 11:20:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houxiaoni01/article/details/100899177
版权
HLS（HTTP Live Streaming）是一种由Apple提出的基于HTTP的媒体流传输协议，广泛应用于视频点播和直播。HLS协议通过将视频流切割成小的TS文件，由M3U8索引文件指导客户端顺序拉取播放。M3U8文件包含Media Segments（TS文件）列表，每个TS文件包含H.264视频和AAC音频数据。客户端首先下载M3U8文件，然后按照指示顺序下载TS文件进行播放。HLS支持内容加密，通过EXT-X-KEY标签指定加密密钥。播放延迟通常在10秒以上，但相比RTMP协议，HLS更适应HTTP环境，可在防火墙和代理服务器中顺利传输，并能利用CDN加速。
摘要由CSDN通过智能技术生成

参考资料：https://www.cnblogs.com/jimodetiantang/p/9133564.html
　　　　　https://cloud.tencent.com/developer/article/1032541
　　　　　https://blog.csdn.net/yuan1125/article/details/51540918
　　　　　https://blog.csdn.net/max_min_go/article/details/39463675
　　　　　https://blog.csdn.net/simongyley/article/details/34411577
　　　　　https://blog.csdn.net/heyatzw/article/details/76165756
　　　　　Android 源码分析之基于NuPlayer的HLS流媒体协议

文章目录

1、综述

HLS 全称是 HTTP Live Streaming，是一个由 Apple 公司提出的基于 HTTP 的媒体流传输协议，用于实时音视频流的传输。目前HLS协议被广泛的应用于视频点播和直播领域。

1.1 原理介绍

HLS 跟 DASH 协议的原理非常类似。通过将整条流切割成一个小的可以通过 HTTP 下载的媒体文件，然后提供一个配套的媒体列表文件，提供给客户端，让客户端顺序地拉取这些媒体文件播放，来实现看上去是在播放一条流的效果。由于传输层协议只需要标准的 HTTP 协议，HLS 可以方便的透过防火墙或者代理服务器，而且可以很方便的利用 CDN 进行分发加速，并且客户端实现起来也很方便。

HLS 把整个流分成一个个小的基于 HTTP 的文件来下载，每次只下载一些。HLS 协议由三部分组成：HTTP、M3U8、TS。这三部分中，HTTP 是传输协议，M3U8 是索引文件，TS 是音视频的媒体信息。

关于 HLS 的详细介绍可参考： https://tools.ietf.org/html/draft-pantos-http-live-streaming-23

在 HTML5 页面上使用 HLS 非常简单：

直接:

<video src="example.m3u8" controls></video>

或者:

<video controls>
    <source src="example.m3u8"></source>
</video>

HLS 是提供一个 m3u8 地址，Apple 的 Safari 浏览器直接就能打开 m3u8 地址，譬如：http://demo.srs.com/live/livestream.m3u8

Android 不能直接打开，需要使用 html5 的 video 标签，然后在浏览器中打开这个页面即可，譬如：

<!-- livestream.html -->
<video width="640" height="360"
        autoplay controls autobuffer 
        src="http://demo.srs.com/live/livestream.m3u8"
        type="application/vnd.apple.mpegurl">
</video>

HLS 的 m3u8，是一个 ts 的列表，也就是告诉浏览器可以播放这些 ts 文件，譬如：

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:64
#EXT-X-TARGETDURATION:12
#EXTINF:11.550
livestream-64.ts
#EXTINF:5.250
livestream-65.ts
#EXTINF:7.700
livestream-66.ts
#EXTINF:6.850
livestream-67.ts

有几个关键的参数，这些参数在 SRS 的配置文件中都有配置项：

  • EXT-X-TARGETDURATION：所有切片的最大时长。有些 Apple 设备这个参数不正确会无法播放。SRS 会自动计算出 ts 文件的最大时长，然后更新 m3u8 时会自动更新这个值。用户不必自己配置。
  • EXTINF：ts 切片的实际时长，SRS 提供配置项 hls_fragment，但实际上的 ts 时长还受 gop 影响。
  • ts 文件的数目：SRS 可配置 hls_window，指定 m3u8 中保存多少个切片，SRS 会自动清理旧的切片。
  • livestream-67.ts：SRS 会自动维护 ts 切片的文件名，在编码器重推之后，这个编号会继续增长，保证流的连续性。直到 SRS 重启，这个编号才重置为 0。

譬如，每个 ts 切片为 10 秒，窗口为 60 秒，那么 m3u8 中会保存 6 个 ts 切片。

每一个 .m3u8 文件，分别对应若干个 ts 文件，这些 ts 文件才是真正存放视频的数据，m3u8 文件只是存放了一些 ts 文件的配置信息和相关路径，当视频播放时，.m3u8 是动态改变的，video 标签会解析这个文件，并找到对应的 ts 文件来播放，所以一般为了加快速度，.m3u8 放在 web 服务器上，ts 文件放在 cdn 上。

.m3u8 文件，其实就是以 utf-8 编码的 m3u 文件，这个文件本身不能播放，只是存放了播放信息的文本文件。

1.2 整体框架

HLS的架构分为三部分：Server，CDN，Client 。即服务器、分发组件和客户端。

下面是 HLS 整体架构图：

在这里插入图片描述
HLS 框架图

(1) Server

服务器端将视频数据流编码、封装和切割为连续的、时长很短的MPEG-TS格式的文件，通常一个ts分片大概是10s；并提供一个配套的媒体列表文件（m3u8文件）。

视频封装格式：MPEG-TS。
编码：视频编码为H.264，音频编码为AAC, MP3, AC-3或者EC-3格式。

HLS也支持纯音频格式，通常是MPEG基本音频文件（MP4封装的AAC格式）。

(2) Distribution

由标准的网络服务器组成，接收客户端的请求和分发所有的资源包括m3u8列表文件和ts分片文件。

(3) Client

客户端先通过下载m3u8文件，再通过m3u8文件的索引地址顺序地拉取ts媒体文件播放。对于直播，它的索引文件一直处于动态变化的，你需要不断的更新索引文件 playlist 然后移除旧的索引文件。

一般为了加快速度，m3u8 放在 web 服务器上，ts 文件放在 cdn 上。

把视频文件上传到服务器上，视频会被转换成HLS格式的视频（即TS和m3u8文件）。Media encoder模块负责将视频源中的视频数据转码到目标编码格式（H264）的视频数据，然后Stream Segment模块将视频切片，切片的结果就是index file（m3u8）和ts文件了。

在这里插入图片描述
HLS index file

HLS的index文件就是m3u8的文件，先下载一级index file（master_playlist.m3u8），它里面记录了二级索引文件的地址（Alternate-A、Alternate-B、Alternate-C）的地址，然后客户端再去下载二级索引文件，二级索引文件中又记录了TS文件的下载地址，这样客户端就可以按顺序下载TS视频文件并连续播放。

1.３ HLS协议编码格式要求

  • 视频的编码格式：H264
  • 音频的编码格式：AAC、MP3、AC-3
  • 视频的封装格式：ts
  • 保存 ts 索引的 m3u8 文件

1.４ HLS相关文章

DEMO：

2、HLS 之 M3U8

m3u8 文件是用文本方式对媒体文件进行描述，由一系列标签组成。

m3u8 文件示例 1：单码率适配流

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-ALLOW-CACHE:YES
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:16
#EXTINF:14.357, no desc
livestream-2.ts
#EXTINF:15.617, no desc
livestream-3.ts
#EXTINF:14.358, no desc
livestream-4.ts
#EXTINF:15.618, no desc
livestream-5.ts
#EXTINF:11.130, no desc
livestream-6.ts

该 m3u8 文件只是一个简单的 Media Playlist。

m3u8 文件示例 2：多码率适配流

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000
http://example.com/low.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000
http://example.com/mid.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000
http://example.com/hi.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5"
http://example.com/audio-only.m3u8

#EXTM3U    

#EXT-X-MEDIA:TYPE=AUDIO,GROUP-ID="audio_low",LANGUAGE="en",NAME="English",AUTOSELECT=YES,DEFAULT=YES,URI="audio_low.m3u8"  
#EXT-X-MEDIA:TYPE=AUDIO,GROUP-ID="audio_high",LANGUAGE="en",NAME="English",AUTOSELECT=YES,DEFAULT=YES,URI="audio_high.m3u8"   

#EXT-X-STREAM-INF:BANDWIDTH=100000,CODECS="mp4a.40.2,avc1.4d401e",AUDIO="audio_low"  
video.m3u8   

#EXT-X-STREAM-INF:BANDWIDTH=200000,CODECS="mp4a.40.2,avc1.4d401e",AUDIO="audio_high"  
video.m3u8

包含多种比特率的 Master Playlist。该文件是一个实际使用中的顶级 m3u8 文件，该文件中又定义了 http://example.com/low.m3u8、http://example.com/mid.m3u8等几个二级文件。顶级 m3u8 文件主要是做码率适配的，二级 m3u8 才是真正的切片文件，客户端会默认选择码率最高的请求，如果发现码率达不到，会请求降低码率的流。客户端拿到二级 m3u8 文件后，会继续请求里面的文件，这时就可以进行播放了。

  • HLS 通过 URI(RFC3986) 指向的一个 Playlist 来表示一个媒体流。
  • 一个 Playlist 可以是一个 Media Playlist 或者 Master Playlist，使用 UTF-8 编码的文本文件，包含一些 URI 跟描述性的 tags。
  • 一个 Media Playlist 包含一个 Media Segments 列表，当顺序播放时，能播放整个完整的流。
  • 要想播放这个 Playlist，客户端需要首先下载它，然后播放里面的每一个 Media Segment。
  • 更加复杂的情况是，Playlist 是一个 Master Playlist，包含一个 Variant Stream 集合，通常每个 Variant Stream 里面是同一个流的多个不同版本(如: 分辨率, 码率不同)。

2.1 HLS Media Segments

  • 每一个 Media Segment 通过一个 URI 指定，可能包含一个 byte range。
  • 每一个 Media Segment 的 duration 通过 EXTINF tag 指定。
  • 每一个 Media Segment 有一个唯一的整数 Media Segment Number。
  • 有些媒体格式需要一个 format-specific sequence 来初始化一个 parser，在 Media Segment 被 parse 之前。这个字段叫做 Media Initialization Section，通过 EXT-X-MAP tag 来指定。

2.1.1 支持的 Media Segment 格式

（1）MPEG-2 Transport Streams

  • 即最常见的 TS 文件。
  • RFC: ISO_13818。
  • Media Initialization Section：PAT(Program Association Table) 跟 PMT(Program Map Table)。
  • 每个 TS segment 必须包含一个 MPEG-2 Program。
  • 每一个 TS segment 包含一个 PAT 和 PMT, 最好在 segment 的开始处，或者通过一个 EXT-X-MAP tag 来指定。

（2）Fragmented MPEG-4

  • 即常提到的 fMP4。
  • RFC: ISOBMFF。
  • Media Initialization Section：ftyp box（包含一个高于 ios6 的 brand）， moov box 必须紧跟在ftyp box 之后。moov box 必须包含一个 trak box（对于每个 fMP4 segment 里面的 traf box，包含匹配的 track_ID）。每个 trak box 应该包含一个 sample table，但是它的 sample count 必须为 0。mvhd box 跟 tkhd 的 duration 必须为 0。mvex box 必须跟在上一个 trak box 后面。
  • 不像普通的 MP4 文件包含一个 moov box（包含 sample tables&
最低0.47元/天 解锁文章
houxiaoni01
关注
专栏目录
rtmp/rtsp/hls直播服务软件
10-10
一款免费的流媒体直播软件，主要用于流媒体直播，视频直播，视频点播，视频录制等应用,与FMS、WOWZA、RED5一道，作为用户流媒体直播应用的可选方案。 1、支持Windows/Linux等多种操作系统； 2、采用开发的流媒体协议，而非私有协议，可以与主流系统对接，至少支持RTMP推流，RTMP拉流，RTSP拉流三种方式获取直播流，支持对获取的直播流再按照TS组播或者单播，RTMP，RTSP，HLS，TS OVER HTTP,FLV OVER HTTP等标准流媒体协议的方式进行对外直播转发； 3、支持录制，可定时录制或手动录制，能录制MP4或者FLV格式文件，录制时支持生成新文件或者追加文件两种方式，支持录制超过4G的文件； 4、单台服务器可支持1000个以上并发用户，直播延时小于2秒； 5、支持RTMP转发功能，能够把AMS上的直播流转发给其它AMS服务器或者第三方的RTMP服务器，例如RED5，FMS，WOWZA流媒体服务器； 6、 支持PC/手机/平板电脑等多终端访问，无论是windows，linux，或者andriod以及IOS系统访问收看直播时都无需下载插件，直接观看； 7、响应点播时间控制在100ms以内，支持暂停、拖动等特技操作； 8、支持文件直播，可把硬盘上存在的FLV文件编目后，按设定好的任务和顺序进行直播； 9、内置Web应用系统，无需复杂配置，可直接部署到用户服务器使用，也可以选配更复杂的媒资管理系统，完成类似优酷土豆的应用模式； 10、开放的系统架构，提供二次开发接口，可轻松的融入到用户已有的平台或网站平台中、或在此基础上进行二次开放等 ------------------------------------------------------------------------- 使用说明： 1、关于安装运行：软件解压到硬盘上后，执行AokuMServiceManager，即可完成AMS服务的安装，安装完成后，在Windows系统服务中会出现一个AokuMService服务； 2、关于端口：AMS默认的管理端口是9001，可通过浏览器登陆http://127.0.0.1:9001/main.html进行管理；AMS默认的RTMP端口是1935，默认的rtsp端口是5554，默认的flv over http端口是7000，默认的ts over http端口是8008，默认的hls端口也是9001； 3、关于推流：使用直播你需要有一个支持rtmp推流的编码器，建议用奥酷全接口高清编码器，当然你也可以通过FME进行软编码来实现； 4、关于接收直播：AMS正常启动并发布上直播流后，你可以在网络内的任一电脑上打开http://ip:9001,通过浏览器观看直播，若开启了hls功能，通过iphone或者ipad登陆http://ip:9001即可观看直播。 5、若开启了TS组播，请确认防火墙是否允许组播，另外您网络内的路由器是否支持组播，接收组播是需要用VLC播放器来完成； 6、接收flv over http也是通过VLC播放器或者支持类似协议的播放器来测试。 7、若使用中出现问题，你可以查看logs目录下的rtmpserver.log文件，里面有详细的错误日志描述。
ffmpeg优化mp4以及hls参数设置
网易搬砖选手
08-20 3308
ffmpeg是开源的音频视频编解码工具 然而默认的参数对MP4不友好,需要自己设置 这里记录一下简单的优化参数 优化MP4使moov atom位于文件开头 moov atom是mp4的索引信息. 浏览器获得moov atom后,可以随机搜索文件位置,让拖动自由 ffmpeg默认是将moov atom放在文件末尾,我们需要前置moov atom-movflags faststart关键参数 ffmpeg -i input.mp4 -movflags faststart -acodec copy -v
流媒体之HLS协议(其三)
weixin_61503529的博客
09-10 744
HLS与RTMP都是流媒体协议，RTMP由Adobe开发，广泛应用于低延时直播，也是编码器和服务器对接的实际标准协议，在PC（Flash）上有最佳的观感体验；HLS由苹果公司开发，可以支持Live（直播），也可以支持VoD（点播）。HLS是苹果平台的标准流媒体协议，和RTMP在PC上一样支持得非常完善。HLS全称HTTP Live Streaming，是一种基于HTTP的流媒体网络传输协议。它的基本工作原理是把整个流分成一个一个小的基于HTTP的文件来下载，每次只下载一些。
HLS——四、接口
锅锅的博客
01-04 2040
主要介绍以下接口： 一、avalon-st接口 二、默认HLS接口 三、内存主机接口 四、显示流媒体接口 五、寄存器接口 六、内存从接口 一、avalon-st接口 1、用途 1.在Intel®FPGA中用于简化系统设计的简单连接模块 2.用于交互的标准接口设计 HLS编译器围绕HLS模块生成Avalon接口 2、种类 1.Avalon流接口（Avalon-ST） -数据单向流动，界面简单灵活 2.Avalon内存映射接口(Avalon-mm) -典型的基于地址的读/写接口的主从连接 3.其他接口 -管道，
流媒体RTMP协议解析
odelia的博客
02-03 3307
背景 当前用到的直播场景有很多, 比如视频通话, 个人直播, 赛事直播;直播的协议也有很多; 比如HTTP+FLV:流式tag+渐进式下载(理论延迟1-3s) HLS: ts分片+索引管理(理论延时10s+,跟切片时间大小有关) RTMP: tcp流+chunk块传输(理论延迟1-3s) 下面详细描述一下RTMP RTMP(Real Time Messaging Protocol) 使用Flash Player作为播放器客户端; 协议有很多变种: 1.RTMP本身, 基于TCP.默认使用1935端口的明文协
HLS详解（看这个就够了）
热门推荐
隔壁老王呀的专栏
04-22 2万+
HLS概述 HLS是HTTP Live Streaming的简称，是苹果公司提出的基于HTTP的流媒体网络传输协议，它的基本原理也是服务端把文件或媒体流按照不同的码率切分成一个个小片段进行传输，客户端在播放码流时，可以根据自身的带宽及性能限制，在同一视频内容的不同码率的备用源中，选择合适码率的码流进行下载播放。在传输会话开始时，客户端首先需要下载描述不同码流元数据的M3U8索引文件。 官方定义 从...
HLS流媒体服务器代理
06-18
HLS（HTTP Live Streaming）是一种由苹果公司提出的基于HTTP的流媒体网络传输协议，主要用于在互联网上进行实时视频传输。这种协议将视频流分割成多个小的TS（Transport Stream）文件，用户可以根据网络条件选择不同...
HLS M3U8协议文档（英文版）
08-19
HTTP Live Streaming（HLS）协议文档 HTTP Live Streaming（HLS）是一种流媒体协议，用于传输无限流媒体数据。该协议由Apple Inc....HLS协议是一种灵活、可扩展的流媒体协议，广泛应用于流媒体领域。
Python-m3u8Pythonm3u8HTTP流媒体直播HLS传输的解析器
08-10
Python-m3u8是一个强大的Python库，专门用于...总的来说，Python-m3u8是一个强大且灵活的工具，对于处理HLS流媒体内容的开发人员来说是必不可少的。通过熟练掌握这个库，你可以构建高效、稳定且功能丰富的流媒体应用。
android 流媒体（streaming）之HLS介绍
09-27
HLS（HTTP Live Streaming）是苹果公司开发的一种流媒体传输协议，主要用于PC和Apple终端的音视频服务。HLS基于HTTP协议，支持直播和点播服务，它通过将音视频内容分割成一系列小文件（TS媒体分片文件），并以m3u8...
xml解析以及流媒体播放
05-31
常见的流媒体协议有RTSP（Real Time Streaming Protocol）、HLS（HTTP Live Streaming）、MPEG-DASH等。在这个项目中，可能使用了HTTP协议，这是一种简单且广泛支持的传输协议，通过AFNet框架（可能是iOS的...
测评 2024 年十款最佳的在线视频解析工具（免费下载）
最新发布
TOPSTIP的博客
09-25 668
我们在观看视频网站时会发现，有些视频仅可以在线观看，不提供下载通道，这种情况下我们怎么把网页上的视频下载下来？目前没有能通吃所有网站视频下载的工具，而我用过的视频下载网站或软件，用户体验都不好：要么收费高、要么满屏广告、要么视频不够清晰....本文提供了多种可以免费下载网页视频的方法，多个视频流媒体平台通用。
Android开发在线视频应用-解析流媒体M3U8文件
锄禾日当午
10-20 7564
流媒体m3u8文件在ihpone上直接可以diug
流媒体ts格式解析
dafeng5455的博客
07-29 1541
TS格式解析 by ahuner 1.TS格式介绍    TS：全称为MPEG2-TS。TS即"Transport Stream"的缩写。它是分包发送的，每一个包长为188字节（还有192和204个字节的包）。包的结构为，包头为4个字节（第一个字节为0x47），负载为184个字节。在TS流里可以填入很多类型的数据，如视频、音频、自定义信息等。MPEG2-TS主要应用于实时传送的节
MPEGTS-HLS 分析一帧数据包(H264)
GitHair
08-24 7557
分析一个TS文件第一帧(SRS支持HLS协议产生的TS文件)1. PAT(忽略)2. PMT(忽略)3. 第一帧(PES Packet)通常一帧数据,就是一个PES包.一个PES包一般可拆分为多个TS包(也有可能只拆分为一个TS包,即PES包长度小于188个字节). PESPacket==TsPacket1+TsPacket2+TsPacket3+...+TsPacketNPES Packet ==
HLS直播协议详解
明天你好的博客
10-28 5151
本文对 HLS 协议进行了详细的讲解，由浅入深，一点儿点儿揭开其神秘面纱。首先我们先使用 ffmepg 对一段视频文件进行切片，视频所在路径：D:\Work\test这个命令是使用FFmpeg工具进行视频转码和分段处理的操作。ffmpeg: FFmpeg命令行工具的名称，用于处理音视频文件。: 指定输入文件的路径和文件名。这里的输入文件是名为 “SampleVideo_1280x720_20mb.mp4” 的视频文件。: 强制立即刷新输出文件的数据包。
流媒体网络协议 -- HLS
Ritchie_Lin的博客
12-05 3953
HLSHLS介绍1. 原理2. HLS多媒体系统3. HLS的优势和不足：媒体描述文件1. 主播放列表(Master Playlist)2. 媒体播放列表(Media Playlist)3. 播放列表中URL生成规则：4. 扩展实际应用遇到的问题 HLS介绍 HLS（HTTP Live Streaming）全称为http直播流，是一个由Apple公司提出的基于HTTP的媒体流传输协议，用来实现实时音视频流的传输。 1. 原理 服务器将码流切割成一个个小的(通常是10秒一个)可以通过HTTP下载的媒体分片(
m3u8格式详解
weixin_39399492的博客
07-31 1万+
介绍m3u8文件及标签详解
流媒体协议-HLS协议简介
xiaoshuaijinniu的博客
04-04 1121
HLS是苹果公司提出的基于HTTP的流媒体传输协议，广泛应用于视频点播和直播领域。 通过将音视频流切割成TS（Transport Stream）切片，并生成m3u8播放列表文件，实现边下载边播放的效果。类似于实时在线播放。 由于传输层只采用HTTP协议，HLS因此具有HTTP的优势，如易于穿越防火墙、负载均衡和CDN分发，支持码率自适应，但缺点是直播时延时较高，TS切片较多，特别是实时视频流，需要动态的生成和删除TS切片文件，为了实现高性能、低碎片化，对于文件存储的逻辑需要更加复杂的设计
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值