RTMP播放器全解析

于 2024-09-27 17:49:17 发布
阅读量373 收藏 5
点赞数 6
分类专栏： RTMP播放器 大牛直播SDK 文章标签： RTMP播放器 RTMP player windows播放rtmp windows rtmp播放器 linux rtmp播放器 linux arm rtmp 大牛直播SDK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/renhui1112/article/details/142598828
版权

一、RTMP 播放器概述

（一）RTMP 播放器的定义与作用

RTMP 播放器是一种专门用于播放采用 RTMP（Real Time Messaging Protocol）协议的视频流的工具。在当今的流媒体播放领域中，它扮演着至关重要的角色。RTMP 播放器能够实时接收、解码和播放来自服务器的音频、视频数据，为用户提供流畅的观看体验。

在直播场景中，RTMP 播放器能够实现低延迟播放，让观众与主持人之间的互动更加及时。例如，在会议类直播中，参会者可以通过文字聊天与主讲人互动，而 RTMP 播放器的低延迟特性能够确保观众的评论和主讲人的回应之间的时间差尽可能小。在视频会议中，RTMP 播放器可以保证参会人员之间的交流顺畅，减少因延迟带来的沟通障碍。对于监控领域，RTMP 播放器能够实时显示监控画面，帮助相关人员及时发现问题并采取措施。

二、常见 RTMP 播放器推荐

（一）FFMPEG

FFMPEG 是一套开源计算机程序，采用 LGPL 或 GPL 许可证。它包含非常先进的音频 / 视频编解码库 libavcodec，为保证高可移植性和编解码质量，很多 codec 都是从头开发的。支持的格式众多，如 ASF、AVI、BFI、IFF 等。在点播播放中，文件格式支持很全面，但维护成本很高。

（二）大牛直播 SDK

”大牛直播SDK”，始于2015年，致力于传统行业极致体验的音视频直播技术解决方案，产品涵盖跨平台的实时RTMP推流、RTMP/RTSP直播播放(支持RTSP|RTMP H.265，Enhanced RTMP H.265)、GB28181设备接入、推送端播放端实时录像、多路流媒体转发(RTSP转RTMP，RTMP转RTMP，RTSP|RTMP转GB28181)、音视频导播、动态视频合成、音频混音、一对一互动直播、内置轻量级RTSP服务、RTSP网关服务等，比快更快，业界真正稳定可靠的超低延迟直播SDK(毫秒级延迟，低延迟模式下150~300ms)。

（三）Vitamio

Vitamio 是一款 Android 与 iOS 平台上的全能多媒体开发框架，全面支持硬件解码与 GPU 渲染。能够流畅播放 720P 甚至 1080P 高清视频，跨平台支持 MMS、RTSP、RTMP、HLS 等多种视频流媒体协议。但貌似已不维护了。

（四）Potplayer 和 VLC

在 Windows 平台上，Potplayer 和 VLC 都是比较常见的播放器。Potplayer 功能强大，支持多种格式播放，但对部分 h265 编码的流媒体直播源支持不友好，可能只有声音而看不到画面。VLC 是自由、开源的跨平台多媒体播放器及框架，可播放大多数多媒体文件及各种流媒体协议，但功能相对单一，同样对部分 h265 编码直播源支持不佳。

三、RTMP 播放器的特点

（一）低延迟优势

RTMP 在低延时应用场景中具有重要地位。在互动式直播中，观众与主讲人的互动需要及时响应，RTMP 的低延迟特性（一般在3-5秒，像大牛直播SDK全自研内核框架的延迟可以做到150-300ms）使得这种互动更加流畅自然。相比之下，HTTP 流的延时一般在 10 秒以上，明显不适合互动式直播的需求。在视频会议中， RTMP 的低延迟仍能保证参会人员之间的交流更加顺畅，减少因延迟带来的沟通障碍。

（二）功能特性

以大牛直播SDK的RTMP播放器模块设计为例，功能设计如下：

如不单独说明，系Windows、Linux（含x86_64|aarch64）、Android、iOS全平台支持。

  •  [多实例播放]支持多实例播放；
  •  [事件回调]支持网络状态、buffer状态等回调；
  •  [视频格式]支持RTMP扩展H.265和Enhanced RTMP H.265，H.264；
  •  [音频格式]支持AAC/PCMA/PCMU/Speex；
  •  [H.264/H.265软解码]支持H.264/H.265软解；
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  •  [缓冲时间设置]支持buffer time设置；
  •  [首屏秒开]支持首屏秒开模式；
  •  [低延迟模式]支持低延迟模式设置(公网200~400ms)；
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配；
  •  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  •  [音视频多种render机制]Android平台，视频：SurfaceView/GLSurfaceView，音频：AudioTrack/OpenSL ES；
  •  [实时静音]支持播放过程中，实时静音/取消静音；
  •  [实时音量调节]支持播放过程中实时调节音量；
  •  [实时快照]支持播放过程中截取当前播放画面；
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  •  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  •  [渲染镜像]支持水平反转、垂直反转模式设置；
  •  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  •  [ARGB叠加]Windows平台支持ARGB图像叠加到显示视频（参看C++的DEMO）；
  •  [解码前视频数据回调]支持H.264/H.265数据回调；
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  •  [解码后视频数据缩放回调]Windows平台支持指定回调图像大小的接口(可以对原视图像缩放后再回调到上层)；
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU/SPEEX数据回调；
  •  [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  •  [扩展录像功能]完美支持和录像SDK组合使用。

（三）GOP-Cache 和累积延迟

GOP（Group of Pictures）即视频流中两个 I 帧的时间距离。Flash（解码器）只有拿到 GOP 才能开始解码播放。服务器一般先给一个 I 帧给 Flash。假设 GOP 是 10 秒，即每隔 10 秒才有关键帧，如果用户在第 5 秒时开始播放，会有两种方案。第一种方案是等待下一个 I 帧，再等 5 秒才开始给客户端数据，这样延迟低，但会黑屏等待。第二种方案是马上播放前一个 I 帧，这样可以快速启动，但延迟会增大。

累积延迟是 RTMP 的一个问题。因为 RTMP 基于 TCP 不会丢包，当网络状态差时，服务器会将包缓存起来，导致累积的延迟。处理累积延迟的方法有多种。例如，客户端检测到缓冲区有很多数据时，可以重连服务器。此外，还可以通过调整服务器的直播队列长度、编码器调低 GOP 等方法来降低延迟。例如，编码器调低 GOP 到 0.5 秒一个 GOP，这样延迟也很低，也不用等待，但编码器压缩率会降低，图像质量没有那么好。

四、如何使用 RTMP 播放器

以大牛直播SDK的Windows端RTMP播放器集成为例，上图是大牛直播SDK的Android端启动RTSP服务和推送RTMP流，然后Windows端分别播放RTSP和RTMP流的延迟情况（右侧是RTMP流）。

  1. demo 说明：
    • 提供 C++/C# 两套接口，对外提供 32/64 位 debug/release 库，C++ 和 C# 接口一一对应，C# 接口比 C++ 接口增加前缀 NT_PB_。
    • 播放端 SDK 支持 Win7 及以上系统，本 demo 基于 VS2013 开发。
    • 展示了界面 UI，包括链接状态、下载速度、缓冲状态等信息。
  2. 集成说明：
    • C++ 头文件和 C# 头文件的相关定义。
    • 集成步骤包括拷贝库文件、设置授权、添加头文件等。
    • 正式授权版需要在 Init () 接口调用之前添加设置 license 的代码。
  3. 接口调用时序（以 C# 为例）：
    • 设置授权 license。
    • 设置日志存放路径。
    • 初始化 SDK。
    • 特定机型硬解码检测，可检测系统是否支持硬解，如需使用硬解码可调用相关接口。
    • Open 生成播放实例，每调用一次 Open 接口对应一个播放实例。
    • 设置回调事件，包括网络链接状态、buffer 状态、实时带宽等回调，以及视频分辨率回调、YUV/RGB32 数据回调等。
    • D3DRender 检测，检测系统是否支持 D3D 绘制，对于不支持的情况可设置回调 YUV 数据，用 GDI 模式绘制，但 GDI 绘制效率偏低。
    • 设置播放 URL，支持 rtsp/rtmp/ 本地 FLV 文件。
    • 设置回调 PCM。
    • RTMP/RTSP 播放参数设置，包括设置缓冲大小、RTSP TCP 模式、超时时间、自动切换 TCP/UDP、秒开、低延时模式、下载速度上报等。
    • 开始播放 RTMP 或 RTSP 流数据。
    • RTMP/RTSP 拉流端录像，包括设置录像目录、单个文件最大大小、文件名生成规则、录像回调接口、音频转 AAC 编码开关、是否录视频和音频等，并可启动和停止录像。
    • 实时快照，用于播放端实时截取当前播放图片，图片以 PNG 形式保存至本地。
    • 快速切换 URL，用于实时切换播放的 URL。
    • 用户数据回调和 SEI 数据回调，如不需要处理相关数据，此接口无需调用。
    • 停止播放和关闭播放实例。
    • Uninit，是 SDK 最后一个调用的接口，多实例环境下只需要调用一次。

音视频牛哥
关注
专栏目录
博客
iOS平台RTSP|RTMP直播播放器技术接入说明
09-18 1466
iOS平台RTSP、RTMP直播播放模块，延迟低、资源占有少，性能优异。由于设备和系统比较单一，优先考虑硬解码，除了基础播放外，我们还实现了实时快照、实时录像、实时回调YUV数据、实时音量调节等，实际体验下来，iOS平台RTMP和RTSP，可以轻松毫秒级。
博客
Android平台RTMP直播推送模块技术接入说明
08-07 1112
以上是大牛直播SDK的Android平台RTMP直播推送模块详细的对接说明，除了可以对接编码前各种类型的音视频数据外，模块还支持对接编码后音视频数据，并实现本地录像、快照等功能，除支持H.264外，RTMP推送模块还支持扩展H.265和Enhanced RTMP。感兴趣的开发者，可以单独跟我们探讨。
博客
Android平台RTSP|RTMP直播播放器技术接入说明
07-24 1481
以上是Android平台RTSP、RTMP直播播放模块对接说明，在此之前，我们针对SmartPlayer做过一些技术方面的探讨，从低延迟、音视频同步处理、多实例实现、解码效率、性能占用、解码后数据对接、实时截图、录像、网络抖动处理等各个维度，做过相关的技术分享。感兴趣的开发者，可以单独跟我们探讨。
博客
Android平台轻量级RTSP服务模块技术接入说明
07-17 1441
本文以大牛直播SDK Android平台Camera2Demo为例，启动RTSP服务、发布RTSP流之前，可以先选择视频分辨率、软编还是硬编码，音频是PCMA还是AAC编码等基础设置，其他参数的设置，可以参考下面InitAndSetConfig()。，实现本地的音视频数据（如摄像头、麦克风），编码后，汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL，轻量级RTSP服务，其中，InitAndSetConfig()实现如下，通过调研SmartPublisherOpen()接口，生成推送实例句柄。
博客
基于arm64架构国产操作系统|Linux下的RTMP|RTSP低延时直播播放器开发探究
05-19 1379
arm64架构的国产操作系统|Linux下的RTMP、RTSP直播播放，延迟依然毫秒级，随着国产操作系统在传统行业的推进，越来越多的场景需要高稳定性高延迟低的RTMP|RTSP播放器，本文抛砖引玉，感兴趣的开发者可以跟我单独探讨。
博客
Android平台GB28181设备接入模块CSDN博客汇总
09-15 563
大牛直播SDK推出的Android平台GB28181接入SDK，可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如。
博客
Android平台GB28181接入模块技术接入说明
12-19 3136
以上是大牛直播SDK发布的Android平台GB28181设备接入模块的相关说明，除了上述接口设计外，模块还可以扩展实现实时静音、实时快照、按需录像、实时音量调节等，可扩展性非常好。
博客
Android平台GB28181设备接入端如何支持跨网段语音对讲
12-13 1159
实际上，GB28181平台语音广播和语音对讲，特别是语音对讲，不光要解决传输跨网段问题，还可能要处理回音，噪音，增益控制等，这块，我们之前有了非常好的技术积累，处理起来轻车熟路，有需要测试的开发者，也可以私信联系我。两种技术方案虽然都可以实现语音对讲，方案1相对实现起来简单，但缺点明显，方案2技术优势有目共睹，更适合相对复杂的网络环境。遗憾的是，大多公司都没有实现，或者说市面上真正实现跨网段语音对讲的尚在少数，感兴趣的开发者可以酌情参考。
博客
Android平台GB28181设备接入模块相关博客概览
11-02 1102
Android平台GB28181设备接入模块，可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如智能监控、智慧零售、智慧教育、远程办公、生产运输、智慧交通、车载或执法记录仪等场景。
博客
如何快速实现Android平台前端设备接入能力
03-08 5838
技术背景SIP(会话初始化协议)是在 IP网络上进行多媒体通信的应用层控制协议，以几种RFC的形式提供，其中最重要的是包含核心协议规范的RFC3261。该协议用于创建，修改和终止与一个或多个参与者的会话。通过会话，我们了解了一组进行通信的发送方和接收方，以及在通信过程中这些发送方和接收方保持的状态。会话的示例可以包括Internet电话呼叫，多媒体分发，多媒体会议，分布式计算机游戏等。SIP不是通信设备将需要的唯一协议，也不意味着是通用协议。SIP的目的仅仅是使通信成为可能，通信本身必须通过其他方式
博客
基于RTMP实现Linux|麒麟操作系统下屏幕|系统声音采集推送
07-22 1559
背景Windows操作系统自问世以来，以其简单易用的图形化界面操作受到大众追捧，为计算机的普及、科技的发展做出了不可磨灭的功绩，也慢慢的成为人们最依赖的操作系统。在中国，90％以上的办公环境都是Windows，学校和各种培训班的培训内容也都是Windows，Windows操作系统已经渗入到各行各业，人们已经习惯了Windows的界面和操作习惯，IT计算机和Windows已经被习以为常的画上了等号。但是，我们使用的软件真的安全吗？黑屏事件和棱镜门事件让很多乐观看待或尚未意识到信息安全问题的人们警醒，我
博客
麒麟操作系统|Linux下低延时RTMP|RTSP直播播放实现
07-21 2425
背景国产操作系统多为以Linux为基础二次开发的操作系统。2014年4月8日起，美国微软公司停止了对Windows XP SP3操作系统提供服务支持，这引起了社会和广大用户的广泛关注和对信息安全的担忧。而2020年对Windows7服务支持的终止再一次推动了国产系统的发展。工信部对此表示，将继续加大力度，支持Linux的国产操作系统的研发和应用，并希望用户可以使用国产操作系统。随着信息技术和互联网的快速发展普及，电子商务已经成为不可抗拒的现代商业潮流，云计算、大数据应用...
博客
Unity环境下RTMP推流+RTMP播放低延迟解决方案
06-13 4166
在本文之前，我们发布了Unity环境下的RTMP推流和RTMP|RTSP拉流低延迟的解决方案，今天做个整体汇总，权当抛砖引玉。关于如何实现Unity环境下低延迟的音视频解决方案。
博客
公网可用的RTMP、RTSP测试地址（更新于2021年3月）
03-16 1万+
好多博客提到的公网可测试的RTSP和RTMP URL大多都不用了，以下是大牛直播SDK(Github)于2021年3月亲测可用的几个URL，有其他可用的URL，也欢迎大家在评论区回复。RTMP流地址目前实际可用的有如下两个：1.rtmp://58.200.131.2:1935/livetv/hunantv (720*576)2.rtmp://ns8.indexforce.com/home/mystream (分辨率 800*450)RTSP流地址大熊兔（VOD）：rtsp:/..
博客
rtmp/rtsp/hls公网真正可用的测试地址
06-03 11万+
相信大家在调试播放器的时候，都有这样的困惑，很难找到合适的公有测试源，以下是大牛直播SDK（GitHub地址）整理的真正可用的直播地址源。其中，rtmp和rtsp的url，用我们播放器验证通过，hls的地址，用vlc验证通过。1. RTMP协议直播源香港卫视：rtmp://live.hkstv.hk.lxdns.com/live/hks (目前不可用，hks1、hks2可用)这个r...
博客
一文详解WebRTC、RTSP、RTMP、SRT
09-27 395
WebRTC和SRT也都有适用的场景，WebRTC已经非常成熟，SRT实际上我们之前也有做过，只是没有对外发布，以目前我们的经历，能把RTMP推送、RTMP播放、RTSP播放、RTSP转RTMP推送、轻量级RTSP服务和GB28181设备接入模块做到一梯队高水平，属实不易，随着后续音视频需求越来越多，我们也会做相应的调整和跟进，与时俱进，提供更优异的低延迟音视频直播解决方案。
博客
Linux(含麒麟操作系统)如何实现多显示器屏幕采集录制
09-26 833
我们实现了Linux平台下的以屏幕采集、摄像头采集、麦克风扬声器采集为数据源的RTMP推送模块、轻量级RTSP服务模块，和RTMP播放器和RTSP播放器模块，并同时覆盖了x86-64架构和aarch64架构。你可以根据命令输出的信息，使用其他 xrandr 命令来设置显示器的分辨率、位置、旋转等参数，实现个性化的多显示器设置。它可以让你了解当前的显示器布局，以便更好地进行配置和调整。例如，如果你连接了多个显示器，这个命令可以帮助你确定哪些显示器是处于活动状态的，以及它们的具体配置。
博客
Android平台RTMP推送模块的设计意义
09-26 796
RTMP优势在于它能够提供低延迟的实时音视频传输，同时具有良好的跨平台支持，可以在不同的操作系统和设备上运行。2005年，我们做Android平台RTMP推送模块的初衷，是为了满足传统行业如应急指挥、巡检等场景的低延迟视音频传输，达到远程指挥的目的。做好了RTMP推送模块，发现现有的RTMP播放都不足以满足我们毫秒级的延迟诉求，继续自研框架，做了RTMP的直播播放器。
博客
一文详解GB28181、RTSP、RTMP
09-24 1460
Android平台GB28181接入SDK（SmartGBD），可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景，可能是业内为数不多功能齐全性能优异的商业级水准GB28181接入SDK。但它的延迟同样较高，不适用于实时交互场景，且由于较新，某些设备和浏览器可能不支持该协议。
博客
电脑共享同屏的几种方法分享
09-24 863
实时共享屏幕的方法有很多种，用户可以根据自己的需求和实际情况选择最适合的方式。无论是无线投屏、第三方应用、HDMI线连接还是即时通讯软件的屏幕共享功能，都能轻松实现屏幕内容的实时共享。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值