Android 音视频开发相关知识

Just_Paranoid

已于 2023-05-05 10:56:50 修改

阅读量1.8k

点赞数

分类专栏： Android 文章标签： android 音视频 ffmpeg

于 2023-04-25 09:00:00 首次发布

本文链接：https://blog.csdn.net/weixin_44008788/article/details/130290757

版权

Android 专栏收录该内容

153 篇文章 30 订阅

订阅专栏

音视频开发技能

要在Android上进行音视频开发，需要掌握以下技能：

Android开发：首先，您需要掌握Android应用程序的基本开发技能，包括Java或Kotlin编程语言，Android SDK和Android Studio等开发工具的使用。这些是构建任何类型的Android应用程序所必需的知识。
音频和视频编解码：音频和视频的采集、处理和展示都需要了解相关的压缩算法，例如AAC、MP3、H.264、HEVC等等。还需要对音频和视频数据的格式（例如WAV、MP4、FLV）有一定的了解，在需要的时候能够对其进行解析、封装和转换。
Android多媒体框架：Android提供了多媒体框架（Media Framework），其中包含用于录制、播放、编辑音频和视频文件或流等多种功能。在音视频开发中，了解并合理使用多媒体框架将非常有帮助。例如使用 MediaRecorder 类进行音频和视频的录制；使用 MediaPlayer 类来播放和控制音频和视频等。
OpenGL ES和图形渲染：如果您想创建自定义视觉效果或视频滤镜效果，则需要了解OpenGL ES和图形渲染技术。这些技术可以让您通过GPU进行高效的图像和视频处理，同时实现更复杂的动画和3D图形效果。
网络协议和流媒体传输：如果您希望将音视频从一个设备传输到另一个设备或通过网络进行直播等，则需要了解相关的流媒体传输协议，例如RTMP、HLS等等。另外，还需要了解数据包大小、码率控制、延迟控制等与流媒体传输相关的概念。

希望这个答案能帮助你了解在Android上进行音视频开发所需的基本技能和知识。

Android多媒体框架

Android多媒体框架由许多子系统和技术组成，以下是其主要模块及其详细解析：

音频引擎(Audio Engine)：音频引擎用于记录、处理、播放和处理应用程序中的音频，包括声音效果库(EGL)等。它允许应用程序读取设备音频硬件，并使用C++ API在抽象层面上管理音频数据流。
音频路由(Audio Routing)：音频路由用于将音频从输入源（例如麦克风）路由到输出源（例如扬声器），而不涉及改变音频样本本身。它使用音频焦点、混合器和类似的机制来控制当前正在播放的声音以及通知和电话的跳过/暂停播放。
存储(Media Store)：存储模块允许用户和应用程序浏览和访问所有应用程序与Android设备关联的音频和视频文件。应用程序可以向媒体存储库添加或删除单个项目（例如音乐、照片或视频）。它可通过 MIME 类型或其他属性进行查询。
抓取(Image Capture)：这个模块允许应用程序控制设备相机以及访问相机捕获的图像（JPEG图片）。此模块CFW对分类捕捉图像模型的集成非常有用。
视频录制(Video Recording)：该模块允许应用程序指定需要捕获的视频质量并启动视频记录。它也提供了一种定义预览回话的机制，并正确地控制曝光、白平衡和相机微调等画面参数。

除了上述主要模块外，还有其他一些帮助实现音频和视频功能的Android框架组件，例如：

MediaPlayer：用于播放声音或视频文件。
MediaRecorder：用于录制音频或视频文件。
AudioRecord：允许在自由格式的音频流中进行“原始”录制。
Camera2 API：有助于与设备相机进行更高级别交互，例如设置焦点、曝光时间等。
OpenGL ES：用于图形渲染和GPU计算，可用于创建复杂动画和图形效果。

希望这些信息能够帮助您更好了解Android多媒体框架及其相关模块和组成部分。

音视频编解码

要获取原生格式的音视频并进行自己的编解码，您可以使用以下步骤：

访问媒体文件：可以通过 MediaMetadataRetriever 类或 ContentResolver 类从本地存储或其他设备访问媒体文件。对于短小的音频剪辑，也可以将其作为应用资源打包在 Android APK 文件中。
音视频采集：如果您需要从摄像机或麦克风源捕获音视频，则需要使用 Camera2 API 或 AudioRecord API 进行音视频采集。
音视频编解码：在你成功获取了音视频内容之后，你想要对它们进行处理和解码。根据不同的需求和技术需要进行分别选择，如ffmpeg、MediaCodec等开源库都支持自定义音视频编解码。
播放或保存：处理后的音视频数据可供播放或保存到本地或网络。播放可使用 MediaPlayer 或 SurfaceView 对接编码后的视频，而保存则需要使用 MediaMuxer 对容器文件（例如MP4）进行封装。

请注意，在进行音视频编解码时，其中涉及复杂算法以及硬件特定实现, 您可能需要针对每种情况做出优化以提高性能。此外，请确保合理规划内存管理以及避免内存泄漏问题。

Android编解码示例

以下代码示例使用 JCodec 库对原始视频数据进行解码，使用 ExoPlayer 进行播放，并支持自定义编解码处理。需要根据实际需求修改相应的参数和方法。

导入相关库

implementation 'com.google.android.exoplayer:exoplayer-core:2.15.1'
implementation 'com.google.android.exoplayer:exoplayer-ui:2.15.1'
implementation 'org.jcodec:jcodec-android:0.2.1'

初始化 ExoPlayer

SimpleExoPlayer player = new SimpleExoPlayer.Builder(context).build();
player.setPlayWhenReady(true);
player.prepare();

获取视频数据流并进行解码

SeekableByteChannel channel = NIOUtils.readableFileChannel(new File(videoFilePath));
Demuxer demuxer = Demuxer.createDemuxer(DemuxerFormat.MKV, channel);
MediaDecoder mediaDecoder = JavaMediaCodecDecoder.createVideoDecoder(demuxer.getVideoTracks().get(0).getCodecMeta());
JCodecPacketAdapter packetAdapter = new JCodecPacketAdapter(demuxer.getVideoTracks().get(0), mediaDecoder);
Packet packet;
while ((packet = packetAdapter.getNextFrame()) != null) {
    Picture frame = mediaDecoder.decodeFrame(packet.getData(), null);
    // 对 frame 进行自己的编解码处理
    byte[] encodedData = encode(frame);
    // 将编码后的数据交给 ExoPlayer 播放
    ByteBuffer buffer = ByteBuffer.wrap(encodedData);
    player.writeVideoBuffer(buffer, 0, buffer.limit(), SystemClock.elapsedRealtime() * 1000);
}

获取音频数据流并进行解码

SeekableByteChannel channel = NIOUtils.readableFileChannel(new File(audioFilePath));
Demuxer demuxer = Demuxer.createDemuxer(DemuxerFormat.MP4_AUDIO, channel);
AudioDecoder audioDecoder = new AudioJDecoder(demuxer.getAudioTracks().get(0).getCodecMeta());
ShortBuffer outBuffer = ShortBuffer.allocate(1024);
SampleBuffer sampleBuffer;
while ((sampleBuffer = audioDecoder.decodeFrame(outBuffer)) != null) {
    // 对音频样本进行自己的编解码处理
    byte[] encodedData = encode(sampleBuffer.getData(), sampleBuffer.getPts());
    // 将编码后的数据交给 ExoPlayer 播放
    ByteBuffer buffer = ByteBuffer.wrap(encodedData);
    player.writeAudioBuffer(buffer, 0, buffer.limit(), SystemClock.elapsedRealtime() * 1000);
}

释放资源

player.release();
audioDecoder.close();
packetAdapter.close();
demuxer.close();

知识拓展

ExoPlayer 是一款 Android 平台上开源的、灵活的多媒体播放器，由 Google 开发维护。ExoPlayer 支持播放来自本地文件、网络流和其他媒体资源的音频和视频内容，并且可以轻松扩展以支持新的音频和视频格式，如 MPEG-DASH、HLS 和 SmoothStreaming。与传统的 MediaPlayer 相比，ExoPlayer 具有更高的可定制性和更好的性能表现，支持同时播放多个音频或视频流，并自动管理缓冲和无缝切换。ExoPlayer 还提供了丰富的 API 接口，以及用于媒体处理和编解码工作的内置模块，让开发者在自己的应用中快速实现各种音视频播放需求。https://github.com/google/ExoPlayer
JCodec 是一款免费开源的 Java 编解码库，支持音频和视频编解码、封装及流媒体传输协议等。该库由 JavCodec 开发团队维护，已经成为在 Java 平台下获取原始视频数据并进行自定义编解码处理的主要工具之一。JCodec 支持 FFmpeg 和 Android 平台下常用的视频格式（如 H.264、MPEG-4、AVC 等）和音频格式（如 AAC、MP3 等），提供了完整的 API 接口和示例代码，使得开发者可以使用 JCodec 对视频和音频进行解码和编码，并便捷地将其集成到自己的项目中。除此之外，JCodec 还提供了一些额外的功能，如实时图像处理、缩放和裁剪功能，以及通过 RTP 和 RTSP 等常用流媒体传输协议发送和接收音视频数据流的能力。JCodec 还拥有许多优秀的第三方资源，在 JCodec 官网可以找到大量的支持文档和技术论坛。总之，JCodec 是一款易于使用、功能强大的 Java 编解码库，适用于各种视频处理场景，包括离线音视频的转码、切割、截取等以及在线直播等。https://github.com/jcodec/jcodec
ijkPlayer 是一款基于 FFmpeg 实现的 Android 平台上的高性能多媒体播放器，由 Bilibili 开发并维护。历经多年的迭代和优化，已经成为 Android 平台上最受欢迎的开源视频播放器之一。与其他视频播放器不同，ijkPlayer 直接使用 C/C++ 代码调用 FFmpeg 库进行音视频解码、缩略图生成等操作，并且将底层播放控制逻辑与 Android 框架完全隔离出来，从而实现了极高的解码性能和稳定性。同时，ijkPlayer 也支持多种流媒体传输协议（如 RTSP、HTTP 等）和音视频格式（如 H.264、AAC 等），可以自定义配置以实现最佳效果。除此之外，ijkPlayer 还提供了许多丰富的 API 接口和可定制化选项，无论是对 UI 界面的定制还是对播放策略的优化，都提供了足够的自由度。尤其是支持 P2P 网络播放和多线程下载，可以实现更好的在线视频观看体验。
总之，ijkPlayer 是一款功能强大、易于使用、高性能的 Android 平台多媒体播放器，已经被广泛应用于许多移动应用领域，包括在线视频、直播、VR/AR 等。https://github.com/bilibili/ijkplayer