Android 用FFmpeg 播放音视频

1 FFmpeg 播放视频

1.1 通过自定义GLSurfaceView

1.1.1 java 操作

• 自定义GLSurfaceView
• 创建native 方法并调用

 HPlay extends GLSurfaceView
 public native void OpenBySurface(String url, Object surface);

1.1.2 c++ 操作

• ANativeWindow 原始窗口初始化
• 设置窗口buffer大小
• 锁定窗口，然后等待绘制surface
• 解锁窗口，并且绘制窗口

//显示窗口初始化
ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env,surface);
//设置窗口buffer大小
ANativeWindow_setBuffersGeometry(nativeWindow,width,height,WINDOW_FORMAT_RGBA_8888);
ANativeWindow_Buffer windowsBuf;
//锁定窗口，然后等待绘制surface
ANativeWindow_lock(nativeWindow,&windowsBuf,0);
uint8_t *dst = (uint8_t*)wbuf.bits;
memcpy(dst,rgb,width*height*4);
//解锁窗口，并且绘制窗口
ANativeWindow_unlockAndPost(nativeWindow);

1.2 通过自定义OpenGL shader

1.2.1 获取原始窗口

 ANativeWindow *nwin = ANativeWindow_fromSurface(env, surface);

1.2.2 EGL display创建和初始化

• 1 EGL display创建和初始化

  //1 获取原始窗口
 EGLDisplay display = eglGetDisplay(EGL_DEFAULT_DISPLAY);

• 2 surface的配置和创建

 //输出配置
    EGLConfig config;
    EGLint configNum;
    EGLint configSpec[] = {
            EGL_RED_SIZE, 8,
            EGL_GREEN_SIZE, 8,
            EGL_BLUE_SIZE, 8,
            EGL_SURFACE_TYPE, EGL_WINDOW_BIT, EGL_NONE
    };
 //创建surface
    EGLSurface winsurface = eglCreateWindowSurface(display, config, nwin, 0);

• 3 context 创建关联的上下文

  const EGLint ctxAttr[] = {
            EGL_CONTEXT_CLIENT_VERSION, 2, EGL_NONE
    };
    EGLContext context = eglCreateContext(display, config, EGL_NO_CONTEXT, ctxAttr);

• 4 顶点和片元shader初始化

  //顶点shader初始化
    GLint vsh = InitShader(vertexShader, GL_VERTEX_SHADER);
    //片元yuv420 shader初始化
    GLint fsh = InitShader(fragYUV420P, GL_FRAGMENT_SHADER);

• 5 创建渲染程序

 	//创建渲染程序
    GLint program = glCreateProgram();
    //渲染程序中加入着色器代码
    glAttachShader(program, vsh);
    glAttachShader(program, fsh);
    //链接程序
    glLinkProgram(program);
    GLint status = 0;
    glGetProgramiv(program, GL_LINK_STATUS, &status);
    glUseProgram(program);

• 6 加入顶点坐标和材质顶点坐标

//加入三维顶点数据 两个三角形组成正方形
    static float vers[] = {
            1.0f, -1.0f, 0.0f,
            -1.0f, -1.0f, 0.0f,
            1.0f, 1.0f, 0.0f,
            -1.0f, 1.0f, 0.0f,
    };
    GLuint apos = (GLuint) glGetAttribLocation(program, "aPosition");
    glEnableVertexAttribArray(apos);
    //传递顶点
    glVertexAttribPointer(apos, 3, GL_FLOAT, GL_FALSE, 12, vers);

    //加入材质坐标数据
    static float txts[] = {
            1.0f, 0.0f, //右下
            0.0f, 0.0f,
            1.0f, 1.0f,
            0.0, 1.0
    };
    GLuint atex = (GLuint) glGetAttribLocation(program, "aTexCoord");
    glEnableVertexAttribArray(atex);
    glVertexAttribPointer(atex, 2, GL_FLOAT, GL_FALSE, 8, txts);

• 7 材质纹理初始化

 //设置纹理层
    glUniform1i(glGetUniformLocation(program, "yTexture"), 0); //对于纹理第1层
    glUniform1i(glGetUniformLocation(program, "uTexture"), 1); //对于纹理第2层
    glUniform1i(glGetUniformLocation(program, "vTexture"), 2); //对于纹理第3层
     //创建opengl纹理
    GLuint texts[3] = {0};
    //创建三个纹理
    glGenTextures(3, texts);

    //设置纹理属性
    glBindTexture(GL_TEXTURE_2D, texts[0]);
    //缩小的过滤器
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    //设置纹理的格式和大小
    glTexImage2D(GL_TEXTURE_2D,
                 0,           //细节基本 0默认
                 GL_LUMINANCE,//gpu内部格式 亮度，灰度图
                 width, height, //拉升到全屏
                 0,             //边框
                 GL_LUMINANCE,//数据的像素格式 亮度，灰度图 要与上面一致
                 GL_UNSIGNED_BYTE, //像素的数据类型
                 NULL                    //纹理的数据
    );
    ......

• 8 纹理的修改和显示

	unsigned char *buf[3] = {0};
    buf[0] = new unsigned char[width * height];
    buf[1] = new unsigned char[width * height / 4];
    buf[2] = new unsigned char[width * height / 4];
     //420p   yyyyyyyy uu vv
        if (feof(fp) == 0) {
            //yyyyyyyy
            fread(buf[0], 1, width * height, fp);
            fread(buf[1], 1, width * height / 4, fp);
            fread(buf[2], 1, width * height / 4, fp);
        }
     //激活第1层纹理,绑定到创建的opengl纹理
     glActiveTexture(GL_TEXTURE0);
     glBindTexture(GL_TEXTURE_2D, texts[0]);
     //替换纹理内容
     glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, width, height, GL_LUMINANCE, GL_UNSIGNED_BYTE,
                        buf[0]);   

  //三维绘制
  glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
  //窗口显示
  eglSwapBuffers(display, winsurface); 

1.2.3 获取原始窗口

2 OpenSL ES 播放PCM音频

2.1 配置环境

cmake

target_link_libraries( 
                       ...
                       OpenSLES
                       ...)

2.2 C++ 操作步骤

2.2.1 创建引擎

SLObjectltf engineObject = NULL;//存放引擎对象
SLEngineltf engineEngine = NULL;//存放引擎接口
slCraeateEngine(&engineObject ，
0，   //SLuint32 numOptions
NULL, //选择项目 默认参数const  SLEngineOption *pEngineOption
0，   //Sluint32 numInterface 支持接口的数量
NULL, //SLInterfaceID支持的接口
NULL) // 接口表示数值，是否支持，也是一个数组
//实例化引擎
(*engineObject)->Realize(engineObject,//对象
SL_BOOLEAN_FALSE);//SL_BOOLEAN_FALSE 是阻塞，true是立马返回
//获取接口 
(*engineObject)->GetInterface(engineObject,//对应
SL_IID_ENGINE,//SL_IID_ENGINE接口类型 通过ID号获取接口
&engineEngine);

2.2.2 创建混音器

SLEngineltf engineEngine = NULL;//存放引擎接口
SLObjectltf outputMixObject= NULL;//存放引擎对象
(*engineEngine )->CreateOutputMix(engineEngine,&outMixObject,0,0,0);
//实例化引擎
(*outputMixObject)->Realize(outputMixObject,//对象
SL_BOOLEAN_FALSE);//SL_BOOLEAN_FALSE 是阻塞，true是立马返回
//获取接口 
SLDataLocator_OutputMix outputMix = {SL_DATALOCATOR_OUTPUTMIX,outputMixObject}
SDLDataSink audioSnk = {&outputMix,NULL};

2.2.3 配置音频信息

SLDataLocator_AndroidSimpleBufferQueue
android_queue = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE,2};
SLDataFormat_OPCM pcm={
    SL_DATAFORMAT_PCM,//播放pcm格式的数据
    2,                //2个声道
    SL_SAMPLINGRATE_44_1,// 44100hz的频率
    SL_PCMSAMPLEFORMAT_FIXED_16,//位数16位
    SL_PCMSAMPLEFORMAT_FIXED_16，//
    SL_SPEAKER_FRONT_LEFT|SL_SPEAKER_FRONT_RIGHT,//立体声（前左前右）
    SL_BYTEBORDER_LITTLEENDIAN//高位在前还是低位在前
}
SLDataSource slDataSource ={&android_queue,&pcm};//缓存队列的配置信息

2.2.4 创建播放器

SLObjectltf pcmPlayerObject= NULL;//存放引擎对象
SLEngineltf pcmPlayerPlay= NULL;//存放引擎接口
const SLInterfaceID ids[1] {SL_IID_BUFFERQUEUE};
const SLboolean req[1] = {SL_BOOLEAN_TRUE};
(*pcmPlayerPlay)->CreateAudioPlay(pcmPlayerPlay,
&pcmPlayerObject,&slDataSource,
&audioSnk,1,ids,req);
//初始化播放器
(*pcmPlayerObject)->Realize(pcmPlayerObject,//对象
SL_BOOLEAN_FALSE);
//得到接口后调用，获取Player接口
(*pcmPlayerObject)->GetInterface(pcmPlayerObject,//对应
SL_IID_PLAY,//SL_IID_ENGINE接口类型 通过ID号获取接口
&pcmPlayerPlay);