Android HLS 介绍及自适应测试

最新推荐文章于 2024-08-19 11:43:49 发布
最新推荐文章于 2024-08-19 11:43:49 发布
阅读量5.1k 收藏 6
点赞数
分类专栏： HLS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ch853199769/article/details/78894245
版权

简介

1.1 MediaPlayer History

 Android 1.0→Packet video – Open core
 Android 1.6→Open Core 2.0
 Android 2.0→Stagefright
 Android 2.1→Stagefright
 Android 2.3→Stagefright with enhancements
 Android 3.0→Stagefright + HLS for first time
 Android 4.1 to 4.3→SF – Support for MediaCodec
 Android 5.0→MediaSession and MediaController classes introduced

Android中的MediaPlayer播放框架经历了OpenCore，StageFrightPlayer(AwesomePlayer)，然后NuPlayerDriver。Android2.3 引入流媒体框架，而流媒体框架的核心是NuPlayer。Android4.0之后HttpLive和RTSP协议开始使用NuPlayer播放器，本地播放还是AwesomePlayer， Android5.0（L版本）之后本地播放也开始使用NuPlayer播放器。

1.2 关于视频播放

播放器进行播放至少有4大部分：source、demux、decoder、output。
1.source：数据源，可能是本地资源文件，也可能是流媒体。如果是流媒体有可能是网路上的各种协议例如：http、rtsp、HLS等。
2.demux 解复用：视频文件一般情况下都是把音视频流通过某种规则放在一起。这种规则就是容器规则。现在有很多不同的容器格式。如ts、mp4、 flv、mkv、avi、rmvb等等。demux的功能就是把音视频流从容器中剥离出来，然后分别送到不同的解码器中。
3.decoder解码：解码器–播放器的核心模块。分为音频和视频解码器。
4.output输出：输出部分分为音频和视频输出。解码后的音频（pcm）和视频（yuv）的原始数据需要得到音视频的output模块的支持才能真正的让人的感官系统（眼和耳）辨识到。

1.3 关于HLS

Android 系统中接触到的流媒体协议主要有三种：Progressive Download，RTSP/ RTCP/RTP，HLS。虽然HLS 协议是竞争对手Apple 的流媒体协议，但是从4.4 开始，android 对HLS 这一块的开发做出了很大改变。
HLS：基于HTTP协议，网络部署中不需要架设专有的流媒体服务器，使用标准的 HTTP WEB 服务器即可，便于大规模部署相
对于常见的流媒体直播协议，例如RTMP协议、RTSP协议、MMS协议等，HLS直播最大的不同在于，直播客户端获取到的，并不是一个完整的数据流。 HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件（MPEG-TS格式），而客户端则不断的下载并播放这些小文件，因为服务器端总是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播，实时性没有RTSP高，有一定的延迟

HLS(HTTP Live Streaming):Apple 的动态码率自适应技术，是苹果公司开发的基于HTTP协议的流媒体解决方案。基本原理是将视频文件或视频流切分成小片(ts)并建立索引文件(m3u8)。首先将一个完整视频分成多个TS视频文件，用户下载m3u8文件，通过m3u8文件的索引地址播放具体的每个小段视频。HLS 基于HTTP 传送音视频,它既支持直播,也支持点播。主要用于PC 和Apple 终端的音视频服务。包括一个m3u(8)的索引文件，TS 媒体分片文件和key 加密串文件。目前Android也已经支持。HLS点播，基本上就是常见的分段HTTP点播，不同在于，它的分段非常小。
m8976平台为例，Android所涉及关键代码目录：
/m8976/frameworks/av/media/libstagefright/httplive/目录下

1.3.1 m3u8文件

服务端：需要服务端配置多码率适配流
比如：

    #EXTM3U
    #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000
    http://example.com/low.m3u8
    #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000
    http://example.com/mid.m3u8
    #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000
    http://example.com/hi.m3u8
    #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5"
    http://example.com/audio-only.m3u8
1.3.2 TS分片文件

客户端：计算出当前获得的带宽，向服务器请求与当前带宽匹配的m3u8文件，再通过m3u8文件的索引地址播放具体的视频片断ts
For example, Client get M3U8 files, and its Content:

    #EXTM3U 
    #EXT-X-MEDIA-SEQUENCE:140651513 
    #EXT-X-TARGETDURATION:10 
    #EXTINF:8, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651513[140651513].ts 
    #EXTINF:9, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651514[140651514].ts 
    #EXTINF:11, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651515[140651515].ts 
    #EXTINF:10, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651516[140651516].ts 
    #EXTINF:12, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651517[140651517].ts 
    #EXTINF:8, 
http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651518[140651518].ts 
    #EXTINF:12, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651519[140651519].ts 
    #EXTINF:8, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651520[140651520].ts 
    #EXTINF:9, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651521[140651521].ts 
    #EXTINF:13, 
    http://vapp1.fw.live.cntv.cn/cache/289_/seg0/index140651522[140651522].ts

然后根据索引中链接请求下载音视频并进行播放

1.3.3 Android HLS的source 创建

/m8976/frameworks/av/media/libmediaplayerservice/nuplayer/NuPlayer.cpp

这里写图片描述

这里有三种不同的DataSource：HttpLiveSource，RTSPSource，以及GenericSource，HLS对应的是HttpLiveSource。

1.3.4 QCOM解决方案的HLS开关

如何enable HLS function
system.prop

[persist.media.hls.actual_bw]:[1]
[persist.media.hls.asym_bw]:[1]
[persist.media.hls.cust_bw]:[1]
[persist.media.hls.customization]:[1]
[persist.media.hls.image_support]:[1]
[persist.media.hls.start_SeqNo]:[1]
1.3.5 HLS 播放流程

这里写图片描述

这里写图片描述

Connect Network->Bandwidth estimate->FetchPlaylist(.m3u8)->FetchFile(.ts)->
decryptBuffer->ParseTs->ExtractorA/V->DecoderA/V->Render

创建入口：
/m8976/frameworks/av/media/libmediaplayerservice/MediaPlayerService.cpp
MediaPlayerService::Client::createPlayer
MediaPlayerFactory::createPlayer
NuPlayerFactory sp createPlayer
return new NuPlayerDriver(pid);

以高通平台为例
/m8976/frameworks/av/media/libmediaplayerservice/nuplayer/NuPlayerDriver.cpp
构造函数中mPlayer = AVNuFactory::get()->createNuPlayer(pid);
/m8976/frameworks/av/media/libavextensions/mediaplayerservice/AVNuFactory.cpp
/m8976/vendor/qcom/proprietary/avenhancements/av/mediaplayerservice/ExtendedNuFactory.cpp
ExtendedNuFactory::createNuPlayer(pid_t pid)
创建ExtendedNuPlayer(pid);
/m8976/vendor/qcom/proprietary/avenhancements/av/mediaplayerservice/ExtendedNuPlayer.cpp
ExtendedNuPlayer::setDataSourceAsync
property_get(“persist.media.hls.customization”, value, “0”);
source = new ExtendedHTTPLiveSource(notify, httpService, url, headers);
/m8976/vendor/qcom/proprietary/avenhancements/av/mediaplayerservice/ExtendedHTTPLiveSource.cpp
ExtendedHTTPLiveSource::prepareAsync()
mLiveSession = new ExtendedLiveSession()
mBandwidthEstimator(new BandwidthEstimator())
mLiveSession->connectAsync
/m8976/frameworks/av/media/libstagefright/httplive/LiveSession.cpp
LiveSession::connectAsync 入口
void LiveSession::onConnect

m8976/frameworks/av/media/libstagefright/httplive/PlaylistFetcher.cpp
构造函数中创建mHTTPDownloader
mHTTPDownloader = mSession->getHTTPDownloader();
kWhatFetchPlaylist
mHTTPDownloader->fetchPlaylist
kWhatPlaylistFetched

/m8976/frameworks/av/media/libstagefright/httplive/HTTPDownloader.cpp
HTTPDownloader::fetchPlaylist
fetchFile

/m8976/frameworks/av/media/libstagefright/httplive/LiveSession.cpp
LiveSession::onMasterPlaylistFetched

Bandwidth 检测估算：
/m8976/frameworks/av/media/libmediaplayerservice/nuplayer/HTTPLiveSource.cpp
NuPlayer::HTTPLiveSource::selectTrack
/m8976/frameworks/av/media/libstagefright/httplive/LiveSession.cpp
LiveSession::selectTrack
kWhatChangeConfiguration
LiveSession::changeConfiguration
onChangeConfiguration2
restartPollBuffering();
LiveSession::schedulePollBuffering()
/m8976/vendor/qcom/proprietary/avenhancements/av/stagefright/ExtendedLiveSession.cpp
ExtendedLiveSession::onPollBuffering()

这里写图片描述

switchBandwidthIfNeeded进行判断
/m8976/frameworks/av/media/libstagefright/httplive/LiveSession.cpp
LiveSession::switchBandwidthIfNeeded
LiveSession::BandwidthEstimator::estimateBandwidth
估算bandwidth

HLS系统结构

内容服务器：mpeg-2 ts流
内容分发
客户端

服务器将摄像头采集的音视频文件打包成符合MPEG-2 系统层标准的传输流(TS)格式进行输出
然后被流分割软件分割成连续的后缀是.ts 的小文件序列，同时还会生成一个.m3u8 索引文件，通过HTTP 协议分发给客户端。
客户端软件可以根据实时网络传输速率和缓冲区占有率的变化，在这些不同的TS 流之间自动切换。

客户端根据URL,得到索引文件（m3u8）,然后根据实时的网络传输速率，在索引文件中选取对应的索引,然后从网络服务器上下载媒体文件,每一个媒体文件(即分割的TS 文件)都是整个流的一部分

通常播放器会先下载几个媒体文件缓存下来,积攒到一定数量后，进行播放。当媒体文件加密时,客户端还负责获取解密文件

HLS 自适应测试

测试平台的搭建参照： HLS 测试平台搭建

3.1 测试网站

http://hls.ftgroup-devices.com

Test Set:

4.adaptation to bandwidthTest:
4.03 - Significant changes of bandwidth
Run: Run_7-12_14-46-18
Test Parameters:
Step: Test server - Bandwidtch decreaseDescription:
1. Activate the network trace
2. Go to http://hls.ftgroup-devices.com
3. Select 1-19.0
4. Play the stream for 5min
5. Limit the bandwidth to 500kbps

安德路
关注
专栏目录
android 流媒体（streaming）之HLS介绍
09-27
android 系统上的streaming 关于HLS协议的介绍。介绍如何从网络段获取数据，如何自适应网速调节，如何解码渲染TS数据。
Android HLS协议相关记录及部分解析
Tanck的专栏
12-29 3436
github:AndroidVideoServer(参考库)Android 底层实现HLS协议的部分解析由于目前网络不好,暂时先记录想到的,因为HLS是最近开始学习研究的,害怕最近项目忙忘记,所以先记录下(以下位于LibStageFright)： Android.mk HTTPDownloader.cpp HTTPDownloader.h LiveDataSource.cpp LiveDataSou
ReactNative IOS 开发教程（二）
最新发布
龙哥盟
08-19 1029
在这一章中，我们学习了 Flux 模式，以及 Flux 与传统 MVC 模式的不同之处，以及它解决问题的方式。我们还深入研究了 Flux 核心概念，然后查看了在项目中使用它的例子。最后，我们用 Flux 创建了一个 React 本地应用。在本章中，我们了解了 iOS 设备的功能，不仅仅是用户界面。我们了解了如何为您的应用使用地理定位和加载地图，如何使用 AsyncStorage 来保存数据，如何使用原生警报来共享应用中的重要信息，如何使用 WebView 来加载 HTML5 内容，以及如何使用动画。
android hls检测,在Android上的hls流上选择高质量的视频
weixin_29133151的博客
05-28 236
可能会迟到,但希望有人可能会发现它很有用.您可以使用ExoPlayer执行此操作.在build.gradle中：implementation 'com.google.android.exoplayer:exoplayer:2.9.1'在你的layout.xml中android:layout_height="match_parent"android:layout_width="match_paren...
【小学生】android HLS学习
yingmuliuchuan的博客
10-12 676
（转）HLS render： 1：OMX component 集成在ACodec中，ACodec（A/V）解完数据后，通知Nulayer； 2：NuPlayer通知Render，Render需要A/V的时间同步（另，如果是JPEG的话就不需要这个同步，直接render即可）； 3：对于Audio，直接通过AudioSink播放； 4：对于Video，通过通知ACodec，让ACodec通过
android hls检测,Android播放HLS协议的流媒体
weixin_39921504的博客
05-28 577
最近需要测试Android是否支持HLS协议的流媒体播放，在网上找了些例子都是播放本地文件的，还有一些播放网络文件的却不是HLS协议的流媒体。据Android3.0的更新说明介绍，Android3.0已经开始支持大部分的HLS流媒体类型，于是就做了一下测试。关键代码如下： www.2cto.com[java]private void playVideo() {String strPath = "h...
android hls检测,安卓大部分浏览器播放HLS协议直播流会从头开始
weixin_42350101的博客
05-28 724
遇到的问题HLS直播流在iOS系统中表现正常，但在安卓使用大部分浏览器(UC浏览器除外)播放ffmpeg生成的HLS直播流都会发生从头播放的问题，即不管何时播放直播流，都会从直播开头的内容开始播放(生成的第一个直播TS切片，eg:电影开始直播1小时后打开直播，从0分钟看起)。参考数据安卓系统：4.0(小米2s)，4.4(华为荣耀6),其他版本未测试浏览器：默认浏览器、腾讯浏览器直播方式：ffmpe...
rtmp hls 播放器
07-10
6. **兼容性测试**：确保播放器能在多种设备和浏览器上正常工作，尤其是移动端的iOS和Android。 "simplest_flashmedia_example-master"这个文件可能包含了一个基本的Flash RTMP播放器示例，这对于学习和理解如何...
android多媒体播放器
05-27
- 支持DASH和HLS等自适应流媒体协议，提供流畅的播放体验。 - 更好的错误处理和恢复机制。 - 更丰富的事件监听和控制接口。 创建一个Android多媒体播放器，通常需要以下步骤： 1. 添加依赖：在build.gradle文件...
hls视频流_HLS视频流：它是什么，以及何时使用它
cumian8165的博客
08-14 7522
In this short article I will focus on HLS, the most extended adaptive bitrate protocol for video delivery. I'll answer some of the main questions that anyone considering HLS for the first time will li...
FFmpeg入门详解之102：HLS直播协议详解
福优学苑@音视频+流媒体
10-21 1152
HLS全称为，是苹果公司提出的基于HTTP的流媒体网络传输协议。它的工作原理是把整个媒体流分成一个个小的基于HTTP的媒体分片来下载，每次只下载一些分片。在开始一个流媒体会话时，客户端会下载一个包含媒体分片的索引文件，即extended M3U playlist文件(m3u8)，用于寻找可用的媒体分片。HLS中，索引文件可以嵌套，一般只有一级索引和二级索引；媒体流封分片装格式只支持MPEG-2传输流（ts）、WebVTT [WebVTT]文件或Packed Audio文件。
HLS_Server
03-18
HLS_Server是HLS流媒体服务器软件的必备工具包，该工具包的使用方法在软件帮助页面有详细介绍。
FFmpegTest, 将Android设备转换成HLS视频服务器.zip
09-18
FFmpegTest, 将Android设备转换成HLS视频服务器 FFmpegTest试图从android的MediaCodec提供编码的音频和视频数据，以提供超出( android目前仅限于. mp4 )的android MediaMuxer功能的格式。 我们的最终目标是让一个安卓设备成为一个HLS
HLS-Server
03-22
HLS_Server是HLS流媒体服务器软件的必备工具包，该工具包的使用方法在软件帮助页面有详细介绍。
Android-HLS-lib:Kaltura Android HLS 库
06-14
Android-HLS-lib Kaltura Android HLS 库 一般注意事项 该项目是 Kaltura 的 Android Player SDK 的一部分，它允许 Kaltura 的视频播放器播放和集成到原生 Android 应用程序中。 该项目的目的是支持 Android 设备上的原生 HLS 流播放。 有关 Kaltura Android Player SDK 的更多信息，请访问： : 技术概述 有关该项目的技术概述，请访问： : 安装说明 为了在 Android Player SDK 中添加一个新的 HLS 库，应该执行以下步骤： 克隆项目存储库 从 HLSPlayerSDK 文件夹中运行以下命令：[本地 Android SDK 路径]/android-ndk-r10c/ndk-build 导航到 HLSPlayerSDK/libs 创建一个包含 libs
RTMP推流器，RTMP(HLS)秒开播放器
11-03
RTMP 推流器，RTMP(HLS)秒开播放器，跨平台（Win,IOS,Android）开源代码
yy.rar_android
09-14
10. **兼容性测试**：由于Android设备的多样性，确保应用在各种设备和Android版本上运行良好是必要的。开发者需要进行广泛的设备和API级别测试，以确保视频播放器的兼容性。 以上就是构建一个简单的Android视频...
android HLS 初始化过程
CuTea的专栏
05-09 5022
记录android 上http live streaming初始化过程，学习之用
android hls客户端,HLS (http live streaming) on Android 3.0 and seeking
weixin_33389310的博客
06-01 457
We have a provider that gives us m3u8 files for HLS streams (originally intended for use in an iOS app).Android 3.0+ supports http live streaming (http://developer.android.com/guide/appendix/media-for...
ZYNQ FPGA HLS入门：仿真测试与大数据产业解析
本文及关联资源聚焦于仿真测试在大数据图像处理中的应用，并强调了Xilinx FPGA和HLS在实现高效硬件算法中的重要性。同时，提供了丰富的学习资料，帮助初学者和专业工程师掌握FPGA设计与HLS技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

安德路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值