FFMPEG 之音频解码及AudioTrack播放音频

最新推荐文章于 2024-07-11 18:00:41 发布
最新推荐文章于 2024-07-11 18:00:41 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Android原创 文章标签： ffmpeg ffmpeg之音频解码及播放
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanxiaofan/article/details/78803670
版权

一、实现原理

    使用FFMPEG解码音频文件，然后调用AudioTrack播放解码文件

二、实现

    1、导入ffmpeg的头文件，以及so文件

   

   2、创建native方法，以及AudioTrack对象

        PlayerControl.java

package com.xiaofan.testffmpeg2;
import android.media.AudioFormat;
import android.media.AudioManager;
import android.media.AudioTrack;

public class PlayerControl {
    public native void sound(String input, String output);

    /**
     * @param sampleRateInHz 当前 声音的频率
     * @param channelsNB 声道个数
     * @return
     */
    public AudioTrack createAudioTrack(int sampleRateInHz,int channelsNB) {

        int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
        //声道布局，默认设置立体声
        int channelConfig;
        if(channelsNB==1){
            channelConfig = AudioFormat.CHANNEL_OUT_MONO;
        }else if(channelsNB==2){
            channelConfig = AudioFormat.CHANNEL_OUT_STEREO;
        }else {
            channelConfig = AudioFormat.CHANNEL_OUT_STEREO;
        }
        int bufferSizeInBytes = AudioTrack.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);

        AudioTrack audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC,
                sampleRateInHz, channelConfig,
                audioFormat, bufferSizeInBytes,
                AudioTrack.MODE_STREAM);

        return audioTrack;
    }

    static {
        System.loadLibrary("avutil-54");
        System.loadLibrary("swresample-1");
        System.loadLibrary("avcodec-56");
        System.loadLibrary("avformat-56");
        System.loadLibrary("swscale-3");
        System.loadLibrary("postproc-53");
        System.loadLibrary("avfilter-5");
        System.loadLibrary("avdevice-56");
        System.loadLibrary("native-lib");
    }
}
3、CMake文件编写 


cmake_minimum_required(VERSION 3.4.1)


add_library(native-lib
             SHARED
             src/main/cpp/native-lib.c )
find_library(log-lib
              log )


add_library(libavcodec-56
            SHARED
            IMPORTED)

set_target_properties(libavcodec-56
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libavcodec-56.so)

add_library(libavdevice-56
            SHARED
            IMPORTED)
set_target_properties(libavdevice-56
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libavdevice-56.so)

add_library(libavfilter-5
            SHARED
            IMPORTED)
set_target_properties(libavfilter-5
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libavfilter-5.so)

add_library(libavformat-56
            SHARED
            IMPORTED)
set_target_properties(libavformat-56
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libavformat-56.so)
add_library(libavutil-54
            SHARED
            IMPORTED)
set_target_properties(libavutil-54
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libavutil-54.so)
add_library(libpostproc-53
            SHARED
            IMPORTED)
set_target_properties(libpostproc-53
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libpostproc-53.so)

add_library(libswresample-1
            SHARED
            IMPORTED)
set_target_properties(libswresample-1
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libswresample-1.so)
add_library(libswscale-3
           SHARED
           IMPORTED)
set_target_properties(libswscale-3
                      PROPERTIES IMPORTED_LOCATION
                      ${CMAKE_CURRENT_SOURCE_DIR}/src/main/jniLibs/armeabi/libswscale-3.so)

target_link_libraries(  native-lib
                        libavcodec-56
                        libavdevice-56
                        libavfilter-5
                        libavformat-56
                        libavutil-54
                        libpostproc-53
                        libswresample-1
                        libswscale-3
                       ${log-lib} )
4、使用javah命令生成头文件

5、编写解压以及播放流程

   native-lib.c

#include "com_xiaofan_testffmpeg2_PlayerControl.h"
#include <android/log.h>
#include <stdio.h>
#include <stdlib.h>
#include <android/native_window.h>
#include <android/native_window_jni.h>

#define LOGI(FORMAT, ...) __android_log_print(ANDROID_LOG_INFO,"wanxiaofan",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT, ...) __android_log_print(ANDROID_LOG_ERROR,"wanxiaofan",FORMAT,##__VA_ARGS__);
//封装格式
#include "include/ffmpeg/libavformat/avformat.h"
//解码
#include "include/ffmpeg/libavcodec/avcodec.h"
//缩放
#include "include/ffmpeg/libswscale/swscale.h"
#include "include/ffmpeg/libavutil/avutil.h"
#include "include/ffmpeg/libavutil/frame.h"
//重采样
#include "include/ffmpeg/libswresample/swresample.h"
#include <unistd.h>

JNIEXPORT void JNICALL Java_com_xiaofan_testffmpeg2_PlayerControl_sound
        (JNIEnv *env, jobject jobj, jstring jstr_input, jstring jstr_output) {
    const char *input_cstr = (*env)->GetStringUTFChars(env, jstr_input, NULL);
    const char *output_cstr = (*env)->GetStringUTFChars(env, jstr_output, NULL);
    //注册组件
    av_register_all();
    AVFormatContext *pFormatCtx = avformat_alloc_context();
    //打开音频文件
    if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) {
        LOGE("%s", "无法打开音频文件！");
        return;
    }
    //获取输入文件信息
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        LOGE("%s", "无法获取输入文件信息！");
        return;
    }
//    获取音频流索引位置
    int i = 0, audio_stream_idx = -1;
    for (; i < pFormatCtx->nb_streams; ++i) {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
            audio_stream_idx = i;
            break;
        }
    }
//    获取解码器
    AVCodecContext *codeCtx = pFormatCtx->streams[audio_stream_idx]->codec;
    AVCodec *codec = avcodec_find_decoder(codeCtx->codec_id);
    if (codec == NULL) {
        LOGE("%s", "无法获取解码器");
        return;
    }
//    打开解码器
    if (avcodec_open2(codeCtx, codec, NULL) < 0) {
        LOGE("%s", "无法打开解码器");
        return;
    }

    //压缩数据
    AVPacket *packet = av_malloc(sizeof(AVPacket));
    //解压缩数据
    AVFrame *frame = av_frame_alloc();
    //同一音频采样格式与采样率，把frame->16bit PCM,采样率默认用44.1kHZ
    SwrContext *swrCtx = swr_alloc();//开辟空间
    //设置选项  start
    //输入的采样格式
    enum AVSampleFormat in_sample_fmt = codeCtx->sample_fmt;
    //输出的采样格式16bit PCM
    enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;
    //输入采样率
    int in_sample_rate = codeCtx->sample_rate;
    //输出采样率  44100
    int out_sample_rate = in_sample_rate;
    //获取输入的声道布局
    /**
     *根据声道个数获取默认的声道布局（2个声道，默认立体声）
     */
    //int64_t  in_ch_layout=av_get_default_channel_layout(codeCtx->channels);
    int64_t in_ch_layout = codeCtx->channel_layout;
    //获取输出的声道布局(默认立体声)
    int64_t out_ch_layout = AV_CH_LAYOUT_STEREO;
    swr_alloc_set_opts(swrCtx,
                       out_ch_layout, out_sample_fmt, out_sample_rate,
                       in_ch_layout, in_sample_fmt, in_sample_rate,
                       0, NULL);
    //输出的声道个数
    int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);

    //设置选项end

    //jni start
    //获取AudioTrack对象
    jclass jcls = (*env)->GetObjectClass(env, jobj);
    jmethodID create_audio_track_mid = (*env)->GetMethodID(env, jcls, "createAudioTrack",
                                                           "(II)Landroid/media/AudioTrack;");

    jobject audio_track = (*env)->CallObjectMethod(env, jobj, create_audio_track_mid,
                                                   out_sample_rate, codeCtx->channels);

//    调用AudioTrack.play方法
    jclass audio_track_class = (*env)->GetObjectClass(env, audio_track);
    jmethodID audio_track_play_mid = (*env)->GetMethodID(env, audio_track_class, "play", "()V");

    (*env)->CallVoidMethod(env, audio_track, audio_track_play_mid);
    //调用AudioTrack.write
    jmethodID audio_track_write_mid = (*env)->GetMethodID(env, audio_track_class, "write",
                                                          "([BII)I");
//    jni end

    swr_init(swrCtx);

//    不断读取压缩数据
    uint8_t *out_buffer = (uint8_t *) av_malloc(2 * 44100);//保存的就是 16bit PCM  44.1kHZ的数据
    FILE *fp_pcm = fopen(output_cstr, "wb");
    int got_frame = 0, index = 0, ret;
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        //解码音频类型的packet
        if (packet->stream_index == audio_stream_idx) {
            //解码
            ret = avcodec_decode_audio4(codeCtx, frame, &got_frame, packet);
            if (ret < 0) {
                LOGE("%s", "解码完成");
            }
            //解码一帧成功
            if (got_frame > 0) {
                LOGI("解码：%d", index++);
                swr_convert(swrCtx, &out_buffer, 2 * 44100, frame->data, frame->nb_samples);
                //获取sample的size
                int out_buffer_size = av_samples_get_buffer_size(NULL,
                                                                 out_channel_nb,
                                                                 frame->nb_samples,
                                                                 out_sample_fmt, 1);
                //out_buffer缓冲数据，转成byte数组
                jbyteArray data_array = (*env)->NewByteArray(env, out_buffer_size);
                jbyte *sample_byte = (*env)->GetByteArrayElements(env, data_array, NULL);
                //赋值
                memcpy(sample_byte, out_buffer, out_buffer_size);
                //同步
                (*env)->ReleaseByteArrayElements(env, data_array, sample_byte, 0);
                //将pcm的数据写入AudioTrack
//            fwrite(out_buffer, 1, out_buffer_size, fp_pcm);
                //byte[] audioData, int offsetInBytes, int sizeInBytes
                (*env)->CallIntMethod(env, audio_track, audio_track_write_mid, data_array, 0,
                                      out_buffer_size);
                //释放局部引用
                (*env)->DeleteLocalRef(env, data_array);
                usleep(1000 * 16);
            }

            av_free_packet(packet);
        }
    }
    //释放资源
    fclose(fp_pcm);
    av_frame_free(&frame);
    av_free(out_buffer);
    swr_free(&swrCtx);
    avcodec_close(codeCtx);
    avformat_close_input(&pFormatCtx);
    (*env)->ReleaseStringUTFChars(env, jstr_input, input_cstr);
    (*env)->ReleaseStringUTFChars(env, jstr_output, output_cstr);
}
6、在Activity中正常调用就行，然后就能实现播放

注意：

 在AS中使用javap -s命令得到方法签名需到debug目录下，且方法改变了之后需要编译debug中的文件才会改变



wanxiaofan
关注
专栏目录
android ffmpeg audiotrack
11-08
使用FFMPEG 播放 RTSP LIVE 聲音 半成品(尚未解決聲音斷續不流暢問題) 可參考代碼做法
音视频开发之旅（35) -FFmpeg + AudioTrack 实现音频解码和播放
yabin的专栏
03-02 2537
目录 音频解码流程 解码音频为pcm 使用AudioTrack播放音频 资料 收获 上一篇我们了解了FFmpeg解码流程、关键函数和结构体，实现了视频解码器。这篇我们来实现下音频的解码器。解码流程和视频的基本一致。FFmpeg解码的音频裸数据是PCM格式，android上播放PCM音频数据可以通过AudioTrack和OpenSL ES来实现。 下面我们下来看下解码的流程 一、音频解码流程 和上一篇的视频解码流程基本一致。需要注意的是音频对音频的重采样，以及不同样本格式的数据的排列...
ffmpeg音频文件的读取播放代码流程
最新发布
dga332042926的博客
07-11 342
通过以上步骤，您应该能够编写一个简单的音频播放器，并了解每个步骤的基本原理。如果遇到特定问题，可以针对该问题进行深入研究和调试。从音频文件中读取音频数据并将其发送到PortAudio进行播放。PortAudio是一个跨平台的音频I/O库，用于处理音频流。用于确保FFmpeg的C库能够在C++中正确链接。使用FFmpeg的函数打开音频文件并读取文件信息。设置PortAudio的音频流参数，并打开音频流。引入FFmpeg和PortAudio的头文件。在文件中查找音频流，并找到与之匹配的解码器。
HighQualityAudio-FFMPEG
charleslei的专栏
11-09 890
+3 Up Start Page Index History Guidelines for high quality lossy audio encoding This guide is meant to help people new to encoding lossy audio to use the correct encoders and settings.
FFMPEG音频解码浅析
龙骧&长风
11-24 1240
结合各种资料和自己的理解，估计有些浅显。 FFMPEG解码流程：   1. 注册所有容器格式和CODEC: av_register_all()   2. 打开文件: av_open_input_file()   3. 从文件中提取流信息: av_find_stream_info()   4. 穷举所有的流，查找其中种类为CODEC_TYPE_AUDIO   5. 查找对应的解码器: a
FFmpeg开发之旅(二)---音频解码
梦起丶的博客
09-20 1152
【写在前面】 前面我介绍了视频解码的流程，发现基础讲得有点少。 因此这里附上一些额外的基础内容：https://blog.csdn.net/u011283226/article/details/101024093 本篇主要内容： 1、FFmpeg音频解码基本流程 2、libswresample的基本使用方法 【正文开始】 实际上音频解码和视频解码的流程是一样的，因此就不花篇幅讲流程...
FFmpeg解码MP4分别播放YUV视频和PCM音频
09-04
FFmpeg提供了一系列内置的解码器，如H.264视频解码器和AAC音频解码器，它们可以处理MP4中常见的编码格式。 4. **解码视频流**：对于视频流，使用`avcodec_decode_video2`函数进行解码，得到YUV格式的视频帧。YUV是...
Android+FFmpeg+OpenSL ES音频解码播放
11-11
在Android平台上实现音频解码播放，常常会结合FFmpeg库和OpenSL ES框架。FFmpeg是一个强大的开源多媒体处理工具，而OpenSL ES是Android提供的原生音频接口，用于高效、低延迟的音频处理。以下是对这个主题的详细阐述...
Android 播放音频（PCM）的两种方法–AudioTrack/OpenSL ES使用简介
01-06
本文主要介绍Android上可以进行音频（PCM）播放的两个组件–AudioTrack/OpenSL ES的简单使用方法。 对一个音频文件（如MP3文件），如何使用FFmpeg进行解码获取到PCM，之前的文章已经有相应的说明： ...
《FFmpeg视、音频解码》源码+视频文件
01-29
本资源包含的是一个使用FFmpeg进行视、音频解码的示例，帮助开发者了解如何在Android环境中集成并应用FFmpeg。 首先，让我们深入理解FFmpeg的核心概念。FFmpeg库由多个组件组成，包括libavcodec（编码和解码库）、...
音视频开发系列(28)AudioTrack播放PCM音频
yinshipin007的博客
04-15 2182
目录 AudioTrack和MediaPlayer AudioTrack的API介绍（构造、操作、状态机） 具体实现（Static和Stream两种模式） 遇到的问题 收获 一、MediaPlayer和AudioTrack Android SDK 中提供了三种播放声音的API，常见的是MediaPlayer和AudioTrack 其中AudioTrack管理、播放单一音频资源。可以将PCM音频数据传输到音频接收器，以供播放，只能播放源码流即PCM，wav封
Android端AudioTrack以及OpenSL ES结合ffmpeg播放mp3文件
05-17
使用Android端AudioTrack以及OpenSL ES结合ffmpeg播放mp3文件
ffmpeg源码分析--7.关于mpeg文件格式3之audio的track
wangcong02345的专栏
09-05 705
ffmpeg源码分析--7.关于mpeg文件格式3之audio的track
深入浅出：FFmpeg 音频解码与处理AVFrame全解析
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
06-02 2261
深入浅出：FFmpeg 音频解码与处理全解析
ffmpeg简单分析系列----音频（audio）
hijunmeng的专栏
05-25 4800
文章目录ffmpeg--音频采样格式通道布局（channel layout）常用apiint64_t av_get_default_channel_layout(int nb_channels)int av_get_channel_layout_nb_channels(uint64_t channel_layout)int av_get_channel_layout_channel_index(u...
FFmpeg音频编解码处理详解
程序猿老樊的博客
02-29 1265
FFmpeg是一个非常强大的工具，它可以处理几乎所有类型的音频编解码任务。通过对FFmpeg的了解和实践，你可以轻松地转换音频格式、调整音质、添加效果以及执行更复杂的音频处理任务。在音频编解码的核心是对输入信号的精确理解和对输出需求的控制，而FFmpeg提供了这一切所需的工具和选项。
使用AudioTrack播放FFmpeg解码的PCM音频数据
u012944685的专栏
03-01 623
开篇 在学习了《Android使用OpenGL渲染ffmpeg解码的YUV数据》一文之后，我们的播放器计划对于视频的处理暂时先告一段落。后面的几篇文章我们主要介绍ffmpeg解码音频并且搭配AudioTrack以及OpenSLES播放PCM原始音频数据。 音频解码 对于使用ffmpeg进行音视频的解码过程，我们来回忆一下这张图： 其实音频的解码和视频的解码差不多，同样要经过解封装，获取流索引、初...
使用JNI调用FFmpeg解码音频并输出到AudioTrack求助
mengzhengjie的专栏
03-27 1035
http://bbs.csdn.net/topics/390899416 #include  #include  #include  #include  #include  //#include "codes_orion_swplayer_MediaObj.h" #define FILENAME_MAXLEN 1024
AudioTrack 播放音頻
xuanying6815的博客
12-30 254
最近的工作需要做到播放串流音頻 是使用AudioTrack 來播放的 這樣一些東西才可以自訂 因為播放串流, 所以使用AudioTrack.MODE_STREAM 但有個問題, 每次AudioTrack 播放完成的時候 都會出現啵的一聲 或者當網路傳的慢, audioTrack的stream裡面的資料已經播放完成 而新的資料還沒來的及進入stream時, 也會出現啵的一聲 這樣
Android音频播放：AudioTrack与OpenSL ES实战
"Android平台上的音频播放主要涉及两种技术，即AudioTrack和OpenSL ES，它们主要用于播放已解码的PCM音频数据。在播放音频前，通常需要通过解码工具如FFmpeg将MP3等编码格式转换为PCM。本文将简要介绍这两种组件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值