Media Kit(媒体服务)提供了[AVPlayer]和[AVRecorder]用于播放、录制音视频。
在Media Kit的开发指导中,将介绍各种涉及音频、视频播放或录制功能场景的开发方式,指导开发者如何使用系统提供的音视频API实现对应功能。比如使用SoundPool实现简单的提示音,当设备接收到新消息时,会发出短促的“滴滴”声;使用AVPlayer实现音乐播放器,循环播放一首音乐。
亮点/特征
-
使用轻量媒体引擎
使用较少的系统资源(线程、内存),可支持音视频播放/录制,支持pipeline灵活拼装,支持插件化扩展source/demuxer/codec。
-
支持HDR视频
系统原生数据结构与接口支持hdr vivid的采集与播放,方便三方应用在业务中使用系统的HDR能力,为用户带来更炫彩的体验。
-
支持音频池
针对开发中常用的短促音效播放场景,如相机快门音效、系统通知音效等,应用可调用SoundPool,实现一次加载,多次低时延播放。
开发说明
本开发指导仅针对音视频播放或录制本身,由media模块提供相关能力,不涉及UI界面、图形处理、媒体存储或其他相关领域功能。
在开发音乐、视频播放功能之前,建议了解流媒体播放的相关概念包括但不限于:
- 播放过程:网络协议 > 容器格式 > 音视频编解码 > 图形/音频渲染
- 网络协议:比如HLS、HTTP-FLV、HTTP/HTTPS
- 容器格式:比如mp4、mkv、mpeg-ts
- 编码格式:比如h264/h265
AVPlayer
AVPlayer主要工作是将Audio/Video媒体资源(比如mp4/mp3/mkv/mpeg-ts等)转码为可供渲染的图像和可听见的音频模拟信号,并通过输出设备进行播放。
AVPlayer提供功能完善一体化播放能力,应用只需要提供流媒体来源,不负责数据解析和解码就可达成播放效果。
音频播放
当使用AVPlayer开发音乐应用播放音频时,其交互关系如图所示。
图1 音频播放外部模块交互图
音乐类应用通过调用JS接口层提供的AVPlayer接口实现相应功能时,框架层会通过播放服务(Player Framework)将资源解析成音频数据流(PCM),音频数据流经过软件解码后输出至音频服务(Audio Framework),由音频服务输出至音频驱动渲染,实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频HDI共同实现。
图1中,数字标注表示需要数据与外部模块的传递。
- 音乐应用将媒体资源传递给AVPlayer接口。
- Player Framework将音频PCM数据流输出给Audio Framework,再由Audio Framework输出给音频HDI。
视频播放
当使用AVPlayer开发视频应用播放视频时,其交互关系如图所示。
图2 视频播放外部模块交互图
应用通过调用JS接口层提供的AVPlayer接口实现相应功能时,框架层会通过播放服务(Player Framework)解析成单独的音频数据流和视频数据流,音频数据流经过软件解码后输出至音频服务(Audio Framework),再至硬件接口层的音频HDI,实现音频播放功能。视频数据流经过硬件(推荐)/软件解码后输出至图形渲染服务(Graphic Framework),再输出至硬件接口层的显示HDI,完成图形渲染。
完整的视频播放需要:应用、XComponent、Player Framework、Graphic Framework、Audio Framework、显示HDI和音频HDI共同实现。
图2中,数字标注表示需要数据与外部模块的传递。
- 应用从XComponent组件获取窗口SurfaceID。
- 应用把媒体资源、SurfaceID传递给AVPlayer接口。
- Player Framework把视频ES数据流输出给解码HDI,解码获得视频帧(NV12/NV21/RGBA)。
- Player Framework把音频PCM数据流输出给Audio Framework,Audio Framework输出给音频HDI。
- Player Framework把视频帧(NV12/NV21/RGBA)输出给Graphic Framework,Graphic Framework输出给显示HDI。
支持的格式与协议
推荐使用以下主流的播放格式,音视频容器、音视频编码属于内容创作者所掌握的专业领域,不建议应用开发者自制码流进行测试,以免产生无法播放、卡顿、花屏等兼容性问题。若发生此类问题不会影响系统,退出播放即可。
支持的协议如下:
协议类型 | 协议描述 |
---|---|
本地点播 | 协议格式:支持file descriptor,禁止file path |
网络点播 | 协议格式:支持http/https/hls |
网络直播 | 协议格式:支持hls/http-flv |
支持的音频播放格式如下:
音频容器规格 | 规格描述 |
---|---|
m4a | 音频格式:AAC |
aac | 音频格式:AAC |
mp3 | 音频格式:MP3 |
ogg | 音频格式:VORBIS |
wav | 音频格式:PCM |
amr | 音频格式:AMR |
支持的视频播放格式和主流分辨率如下:
视频容器规格 | 规格描述 | 分辨率 |
---|---|---|
mp4 | 视频格式:H26510+/H264音频格式:AAC/MP3 | 主流分辨率,如4K/1080P/720P/480P/270P |
mkv | 视频格式:H26510+/H264音频格式:AAC/MP3 | 主流分辨率,如4K/1080P/720P/480P/270P |
ts | 视频格式:H26510+/H264音频格式:AAC/MP3 | 主流分辨率,如4K/1080P/720P/480P/270P |
AVRecorder
AVRecorder主要工作是捕获音频信号,接收视频信号,完成音视频编码并保存到文件中,帮助开发者轻松实现音视频录制功能,包括开始录制、暂停录制、恢复录制、停止录制、释放资源等功能控制。它允许调用者指定录制的编码格式、封装格式、文件路径等参数。
图3 视频录制外部模块交互图
- 音频录制:应用通过调用JS接口层提供的AVRecorder接口实现音频录制时,框架层会通过录制服务(Player Framework),调用音频服务(Audio Framework)通过音频HDI捕获音频数据,通过软件编码封装后保存至文件中,实现音频录制功能。
- 视频录制:应用通过调用JS接口层提供的AVRecorder接口实现视频录制时,先通过Camera接口调用相机服务(Camera Framework)通过视频HDI捕获图像数据送至框架层的录制服务,录制服务将图像数据通过视频编码HDI编码,再将编码后的图像数据封装至文件中,实现视频录制功能。
通过音视频录制组合,可分别实现纯音频录制、纯视频录制,音视频录制。
图3中,数字标注表示需要数据与外部模块的传递。
- 应用通过AVRecorder接口从录制服务获取SurfaceID。
- 应用将SurfaceID设置给相机服务,相机服务可以通过SurfaceID获取到Surface。相机服务通过视频HDI捕获图像数据送至框架层的录制服务。
- 相机服务通过Surface将视频数据传递给录制服务。
- 录制服务通过视频编码HDI模块将视频数据编码。
- 录制服务将音频参数设置给音频服务,并从音频服务获取到音频数据。
支持的格式
支持的音频源如下:
音频源类型 | 说明 |
---|---|
mic | 系统麦克风作为音频源输入。 |
支持的视频源如下:
视频源类型 | 说明 |
---|---|
surface_yuv | 输入surface中携带的是raw data。 |
surface_es | 输入surface中携带的是ES data。 |
支持的音视频编码格式如下:
音视频编码格式 | 说明 |
---|---|
audio/mp4a-latm | 音频/mp4a-latm类型 |
video/hevc | 视频/hevc类型 |
video/avc | 视频/avc类型 |
audio/mpeg | 音频/mpeg类型 |
支持的输出文件格式如下:
输出文件格式 | 说明 |
---|---|
mp4 | 视频的容器格式,MP4。 |
m4a | 音频的容器格式,M4A。 |
mp3 | 音频的容器格式,MP3。 |
最后呢
很多开发朋友不知道需要学习那些鸿蒙技术?鸿蒙开发岗位需要掌握那些核心技术点?为此鸿蒙的开发学习必须要系统性的进行。
而网上有关鸿蒙的开发资料非常的少,假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料,少走很多弯路,节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等)鸿蒙(Harmony NEXT)技术知识点
如果你是一名Android、Java、前端等等开发人员,想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。
针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说,我们直接看详细鸿蒙(OpenHarmony )手册(共计1236页)与鸿蒙(OpenHarmony )开发入门视频,帮助大家在技术的道路上更进一步。
- 《鸿蒙 (OpenHarmony)开发学习视频》
- 《鸿蒙生态应用开发V2.0白皮书》
- 《鸿蒙 (OpenHarmony)开发基础到实战手册》
- OpenHarmony北向、南向开发环境搭建
- 《鸿蒙开发基础》
- 《鸿蒙开发进阶》
- 《鸿蒙开发实战》
总结
鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程,从而开设鸿蒙课程;企业纷纷跟进启动了鸿蒙研发。
并且鸿蒙是完全具备无与伦比的机遇和潜力的;预计到年底将有 5,000 款的应用完成原生鸿蒙开发,未来将会支持 50 万款的应用。那么这么多的应用需要开发,也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长,学习鸿蒙势在必行! 自↓↓↓拿