「音视频直播技术」Android下视频H264编码

前言

今天为大家介绍一下音视频直播技术中的视频编码。在移动端通过Camera采集到视频数据后，我们不会直接将它发送出去。因为采集后的视频数据量非常大，比如 1280x720 分辨率的一帧数据，就有可能达到6M大小（码率越高，图像越清晰）。这6M数据如果送到网上传输，会给网络带来非常大的负担。

另外，人眼对图像的识别是有限的。拿手机屏幕来说，1K屏与2K屏对于人眼来说是看不出来它们之间的区别的，视频也是同样的道理。基于以上理论，就有了视频的压缩编码技术，通过对视频的有损压缩来达到减少数据大小的目的。

目前视频缩码最常用的是 H264。其它的还有 H265，VP8, VP9等，但用的人还比较少，以后可以专门写一篇文章对他们做些介绍和对比。

编码结构与方式

下图是视频编码的结构，结构很清楚。

在Android系统下视频编码有硬编和软编两种方式。顾名思义，硬编是通过手机提供的硬件模块进行编码；软编就是通过软件程序进行编码。硬编的好处是编码快，不占用CPU资源。缺点是Android机型比较多，坑也比较多。软编正好与硬编相反，它的优点是无论什么机型都一样处理。缺点则是占用大量CPU资源。我们今天介绍的是硬件编码。

如何获取Camera中采集到的数据

从Camera获取视频数据有两种方式，一种是通过向Camera设置预览Callback来读取原始数据；另一种高效的方式是通过MediaCodec的Surface获取数据。而第二种更高效，更灵活。今天我们介绍的就是第二种方式。

当然大家可以很容易从网上找到第一种获取数据的方式。

从Camera获取数据的基本方法如下：

1. 创建 EGL 环境（如果使用 GLSurfaceView则可省略该步骤）。
2. 构建 OpenGL ES程序，通过它将原始数据渲染到Surface中。

OpenGL ES程序我们会在外面的文章中再做介绍。

3. 生成纹理，并打开Camera预览。
4. 创建编码器，将编码器中的Surface与EGL关联。
5. Camera捕获数据后，调用 EGL的swapBuffer方法，就可以拿到数据了。

首先，创建EGL环境。

EglCore是对 EGL 操作的封装。

    ......

    mEglCore = new EglCore(null, EglCore.FLAG_RECORDABLE);
    mDisplaySurface = new WindowSurface(mEglCore, holder.getSurface(), false);
    mDisplaySurface.makeCurrent();

    ......

创建 OpenGL ES程序

Texture2dProgram是对 OpenGL ES程序的封装，以后我们会再做介绍。

    ......

    mFullFrameBlit = new FullFrameRect(
            new Texture2dProgram(Texture2dProgram.ProgramType.TEXTURE_EXT));
    ......

根据 OpenGL ES产生的外部纹理生成纹理对象，并打开Camera预览。

    ......

    mTextureId = mFullFrameBlit.createTextureObject();
    mCameraTexture = new SurfaceTexture(mTextureId);//生成纹理对象
    mCameraTexture.setOnFrameAvailableListener(this);

    Log.d(TAG, "starting camera preview");
    try {
        mCamera.setPreviewTexture(mCameraTexture);
    } catch (IOException ioe) {
        throw new RuntimeException(ioe);
    }
    mCamera.startPreview();

    ......

构造H264编码器，将编码器的 Surface 与 EGL环境关联。

    ......

    try {
        //CircularEncoder是 H264编码器的wraper类，编码器的构造见下一节
        mCircEncoder = new CircularEncoder(VIDEO_WIDTH, VIDEO_HEIGHT, 6000000,
                mCameraPreviewThousandFps / 1000, 7, mHandler);
    } catch (IOException ioe) {
        throw new RuntimeException(ioe);
    }

    //通过下面的代码将 EGL 与 Surface关联  
    mEncoderSurface = new WindowSurface(mEglCore, 
                      mCircEncoder.getInputSurface(),  //MediaCodec Surface
                      true);

    ......

将渲染后的数据输出到编码器的Surface中

......

mEncoderSurface.makeCurrent(); //关联 EGLContext 与 EGLSurface
GLES20.glViewport(0, 0, VIDEO_WIDTH, VIDEO_HEIGHT);
mFullFrameBlit.drawFrame(mTextureId, mTmpMatrix);  //渲染
mEncoderSurface.setPresentationTime(mCameraTexture.getTimestamp());
mEncoderSurface.swapBuffers(); //输出到编码器的 Surface 中

......

构造H264编码器

构造H264编码器实际就是设置编码器的媒体类型、宽高、帧率、GOF等。

......

// TODO: these ought to be configurable as well
private static final String MIME_TYPE = "video/avc";    // H.264 Advanced Video Coding
private static final int FRAME_RATE = 30;               // 30fps
private static final int IFRAME_INTERVAL = 5;           // 5 seconds between I-frames

private Surface mInputSurface;
private MediaCodec mEncoder;
private MediaCodec.BufferInfo mBufferInfo;

......

mBufferInfo = new MediaCodec.BufferInfo();

MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, width, height);

// Set some properties.  Failing to specify some of these can cause the MediaCodec
// configure() call to throw an unhelpful exception.
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
                MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);

// Create a MediaCodec encoder, and configure it with our format.  Get a Surface
// we can use for input and wrap it with a class that handles the EGL work.
mEncoder = MediaCodec.createEncoderByType(MIME_TYPE);
mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mInputSurface = mEncoder.createInputSurface();
mEncoder.start();

.....

视频编码

视频解码就更简单了，就是一个死循环不断的从解码器中查询解码状态。如果解码状态大于0, 则说明现在已经有解好的数据了。

......

ByteBuffer[] encoderOutputBuffers = mEncoder.getOutputBuffers();
while (true) {

    int encoderStatus = mEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);

    ......

    if (encoderStatus > 0) {

        ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];

        ......

        // adjust the ByteBuffer values to match BufferInfo (not needed?)
        encodedData.position(mBufferInfo.offset);
        encodedData.limit(mBufferInfo.offset + mBufferInfo.size);

         ......

        mEncoder.releaseOutputBuffer(encoderStatus, false);

        ......

    }
}

......

小结

通过上面的分析我们可以清楚的知道硬件编码主要就是三大步：

1. 创建编码器
2. 从Camera获取数据。
3. 循环从编码器中取数据。

参考

1. Android视频采集(Camera1)
2. Android视频采集(Camera2)
3. EGL介绍