【Android 10 源码】MediaRecorder 录像流程：MediaRecorder 开始录制

最新推荐文章于 2024-08-14 12:00:24 发布

TYYJ-洪伟

最新推荐文章于 2024-08-14 12:00:24 发布

阅读量1.9k

点赞数 2

分类专栏： Android源码文章标签：音视频 framework 录像 MediaRecorder

本文链接：https://blog.csdn.net/tyyj90/article/details/124646282

版权

Android源码专栏收录该内容

71 篇文章 105 订阅

订阅专栏

前面已经分析过 MediaRecorder 初始化和配置过程，接下来就可以真正进入录制流程了。现在不难得出这个结论：MediaRecorder 录制 Camera 的数据实际上是将预览数据经过 MediaCodec 硬编码后封装成对应的容器。具体到现在谈的场景实际上将渲染数据直接绘制到硬编码器 Surface 上然后去编码，编码后的数据是 H264，将 MIC 音频硬编码为 AAC，然后将它们封装成 MP4。

在这里插入图片描述

开始捕获数据并将数据编码到使用 setOutputFile() 指定的文件中。在 prepare() 之后调用它。此方法实现在 JNI 层。

frameworks/base/media/java/android/media/MediaRecorder.java

public class MediaRecorder implements AudioRouting,
                                      AudioRecordingMonitor,
                                      AudioRecordingMonitorClient,
                                      MicrophoneDirection
{
    ......
    public native void start() throws IllegalStateException;    
    ......
}

调用 getMediaRecorder(…) 获取 MediaRecorder native 对象；
调用 MediaRecorder native 对象的 start() 方法进一步处理开启流程。

frameworks/base/media/jni/android_media_MediaRecorder.cpp

android_media_MediaRecorder_start(JNIEnv *env, jobject thiz)
{
    ALOGV("start");
    sp<MediaRecorder> mr = getMediaRecorder(env, thiz);
    if (mr == NULL) {
        jniThrowException(env, "java/lang/IllegalStateException", NULL);
        return;
    }
    process_media_recorder_call(env, mr->start(), "java/lang/RuntimeException", "start failed.");
}

检查 mMediaRecorder 是否为 NULL，它是 MediaRecorderClient 对应实现的 Binder 代理端；
检查当前状态是否为 MEDIA_RECORDER_PREPARED，也就是说如果没有准备就绪就去开启直接打印 err Log，并直接返回 INVALID_OPERATION；
调用 MediaRecorderClient start() 进一步去开启录制；
最后将 mCurrentState 状态更新为 MEDIA_RECORDER_RECORDING（录制中）。

frameworks/av/media/libmedia/mediarecorder.cpp

status_t MediaRecorder::start()
{
    ALOGV("start");
    if (mMediaRecorder == NULL) {
        ALOGE("media recorder is not initialized yet");
        return INVALID_OPERATION;
    }
    if (!(mCurrentState & MEDIA_RECORDER_PREPARED)) {
        ALOGE("start called in an invalid state: %d", mCurrentState);
        return INVALID_OPERATION;
    }

    status_t ret = mMediaRecorder->start();
    if (OK != ret) {
        ALOGE("start failed: %d", ret);
        mCurrentState = MEDIA_RECORDER_ERROR;
        return ret;
    }
    mCurrentState = MEDIA_RECORDER_RECORDING;
    return ret;
}

MediaRecorderClient::start() 方法仅仅立马调用了 StagefrightRecorder::start() 进行处理。

frameworks/av/media/libmediaplayerservice/MediaRecorderClient.cpp

status_t MediaRecorderClient::start()
{
    ALOGV("start");
    Mutex::Autolock lock(mLock);
    if (mRecorder == NULL) {
        ALOGE("recorder is not initialized");
        return NO_INIT;
    }
    return mRecorder->start();
}

判断输出文件描述符是否有效；
判断视频源是否为 VIDEO_SOURCE_SURFACE，此场景下这个 if 结构显然不会进入；
判断 mWriter 是否为空，这里其被赋值为指向 MPEG4Writer 对象；
由于录制格式被设置为 MP4，因此 isMPEG4 = true，接着调用 setupMPEG4orWEBMMetaData(…) 设置元数据，最后调用 MPEG4Writer 对象 start(…) 方法进一步处理；
如果 MPEG4Writer 对象 start(…) 后返回状态非 OK，说明期间出现了问题，将 mWriter 这个强指针清空；
如果 MPEG4Writer 对象 start(…) 后返回 OK，并且 mStarted（表示是否真的开始了硬编码）为 false，首先将 mStarted 置为 true，mStartedRecordingUs（开始录像时间）赋值为当前系统时间，最后调用 addBatteryData(…) 跟踪录制期间电池数据。

frameworks/av/media/libmediaplayerservice/StagefrightRecorder.cpp

status_t StagefrightRecorder::start() {
    ALOGV("start");
    Mutex::Autolock autolock(mLock);
    if (mOutputFd < 0) {
        ALOGE("Output file descriptor is invalid");
        return INVALID_OPERATION;
    }

    status_t status = OK;

    if (mVideoSource != VIDEO_SOURCE_SURFACE) {
        status = prepareInternal();
        if (status != OK) {
            return status;
        }
    }

    if (mWriter == NULL) {
        ALOGE("File writer is not avaialble");
        return UNKNOWN_ERROR;
    }

    switch (mOutputFormat) {
        case OUTPUT_FORMAT_DEFAULT:
        case OUTPUT_FORMAT_THREE_GPP:
        case OUTPUT_FORMAT_MPEG_4:
        case OUTPUT_FORMAT_WEBM:
        {
            bool isMPEG4 = true;
            if (mOutputFormat == OUTPUT_FORMAT_WEBM) {
                isMPEG4 = false;
            }
            sp<MetaData> meta = new MetaData;
            setupMPEG4orWEBMMetaData(&meta);
            status = mWriter->start(meta.get());
            break;
        }

        case OUTPUT_FORMAT_AMR_NB:
        case OUTPUT_FORMAT_AMR_WB:
        case OUTPUT_FORMAT_AAC_ADIF:
        case OUTPUT_FORMAT_AAC_ADTS:
        case OUTPUT_FORMAT_RTP_AVP:
        case OUTPUT_FORMAT_MPEG2TS:
        case OUTPUT_FORMAT_OGG:
        {
            sp<MetaData> meta = new MetaData;
            int64_t startTimeUs = systemTime() / 1000;
            meta->setInt64(kKeyTime, startTimeUs);
            status = mWriter->start(meta.get());
            break;
        }

        default:
        {
            ALOGE("Unsupported output file format: %d", mOutputFormat);
            status = UNKNOWN_ERROR;
            break;
        }
    }

    if (status != OK) {
        mWriter.clear();
        mWriter = NULL;
    }

    if ((status == OK) && (!mStarted)) {
        mAnalyticsDirty = true;
        mStarted = true;

        mStartedRecordingUs = systemTime() / 1000;

        uint32_t params = IMediaPlayerService::kBatteryDataCodecStarted;
        if (mAudioSource != AUDIO_SOURCE_CNT) {
            params |= IMediaPlayerService::kBatteryDataTrackAudio;
        }
        if (mVideoSource != VIDEO_SOURCE_LIST_END) {
            params |= IMediaPlayerService::kBatteryDataTrackVideo;
        }

        addBatteryData(params);
    }

    return status;
}

setupMPEG4orWEBMMetaData(…) 方法内做了开始时间、文件类型、比特率、64位文件偏移、轨迹延时和旋转角度设置。

frameworks/av/media/libmediaplayerservice/StagefrightRecorder.cpp

void StagefrightRecorder::setupMPEG4orWEBMMetaData(sp<MetaData> *meta) {
    int64_t startTimeUs = systemTime() / 1000;
    (*meta)->setInt64(kKeyTime, startTimeUs);
    (*meta)->setInt32(kKeyFileType, mOutputFormat);
    (*meta)->setInt32(kKeyBitRate, mTotalBitRate);
    if (mMovieTimeScale > 0) {
        (*meta)->setInt32(kKeyTimeScale, mMovieTimeScale);
    }
    if (mOutputFormat != OUTPUT_FORMAT_WEBM) {
        (*meta)->setInt32(kKey64BitFileOffset, mUse64BitFileOffset);
        if (mTrackEveryTimeDurationUs > 0) {
            (*meta)->setInt64(kKeyTrackTimeStatus, mTrackEveryTimeDurationUs);
        }
        if (mRotationDegrees != 0) {
            (*meta)->setInt32(kKeyRotation, mRotationDegrees);
        }
    }
}

MPEG4Writer::start(…) 大致调用流程如下：

检查最大文件大小限制（mMaxFileSizeLimitBytes）是否为 0，如果不为 0，则修改 mIsFileSizeLimitExplicitlyRequested 布尔值为 true。
检查参数设置中是否开启 64 位文件偏移量，如果开启就将 mUse32BitOffset 置为 false，表征使用 32 位文件偏移量。
如果使用 32 位文件偏移量，在没设置 mMaxFileSizeLimitBytes 的时候，把文件大小默认限制为 kMax32BitFileSize（0x00ffffffffLL 2^32-1 : max FAT32）；如果设置的最大文件大小限制大于 32 位限制，则将限制也设置为 kMax32BitFileSize 大小。
检查参数设置中是否使用 2 个字节的 NAL 长度，如果设置了就将 mUse4ByteNalLength 置为 false，也就是不使用4 个字节的 NAL 长度，如果未设置则使用 4 个字节的 NAL 长度。
检查参数设置中是否开启实时录制，如果开启就将 mIsRealTimeRecording 置为相应的参数值。
如果调用 MPEG4Writer::start(…) 时，已经开启了录制则 mStarted 肯定为 true，并且在 mPaused 为 true，也就是暂停状态，则调用 startTracks(…) 并直接返回。
检查参数设置中是否配置了时间缩放比，如果没配置时间缩放比（mTimeScale）则设置为 1000。
当请求的文件大小限制较小时，优先级是满足文件大小限制要求，而不是使文件可流化。mStreamableFile 不能代表实际记录的文件是否可流化。
如果文件级 meta（元数据）或 moov box 中的数据量小于文件开头的预留空闲空间，并且当 box 的内容被构造时，mWriteBoxToMemory 为 true。请注意，视频/音频帧数据总是写入文件，而不是在内存中。在调用 stop()/reset() 之前，mWriteBoxToMemory 总是 false。当 reset() 在录制会话结束时被调用，文件级元和/或 moov box 需要构造。

9.1 在 box 构造之前，将 mWriteBoxToMemory 设置为 mStreamableFile，以便如果文件是可流化的，则设置为 true；否则，它被设置为 false。当该值设置为 false 时，该 box 的所有内容将立即写入文件的末尾。当该值设置为 true 时，该 box 的所有内容都被写入内存中的缓存 mInMemoryCache，直到下列条件发生。注意，内存中缓存的大小与文件开头保留的可用空间相同。

9.2 当 box 的数据被写入内存缓存时，数据大小会根据预留的空间进行检查。如果数据的大小超过了预留的空间，后续的 box 数据将不能再保存在内存缓存中。这也表明预留空间太小。此时，必须将 all 后续 box 数据写到文件的末尾。mWriteBoxToMemory 必须设置为 false 才能将写操作定向到文件。

9.3 当 box 构建完成后，如果 box 内的数据小于预留空间，则将 box 的内存缓存副本写入预留的可用空间。在所有使用内存缓存的 box 被构造之后，mWriteBoxToMemory 总是被设置为 false。
调用 writeFtypBox(…) 写 ftyp box（ftyp box 有且只有一个，在 mp4 文件最开始的地方，并且只能被包含在文件层，而不能被其它 box 包含。它依次包括 1 个 32 位的 major brand（4个字符），1 个 32 位的 minor version（整数）和 1 个以 32 位（4个字符）为单位元素的数组 compatible brands。这些都是用来指示文件应用级别的信息）。
mInMemoryCacheSize 等于 0 说明内容暂时没有在内存缓存中，如果存在文件级元信息，就调用 estimateFileLevelMetaSize(…) 去估计文件级别元数据大小，并将返回值赋给 mInMemoryCacheSize。如果存在 moov box（moov box 是一个 container box，该 box 包含了文件媒体的元数据信息，具体内容信息由子 box 诠释。同 File Type Box 一样，该 box 有且只有一个，且只被包含在文件层。一般情况下，“moov”会紧随“ftyp”出现），并且参数中也配置了比特率，就将比特率作为入参（参数中没配置默认为 -1）调用 estimateMoovBoxSize(…) 去估计 moov box 的大小，返回值加到 mInMemoryCacheSize 上。
如果 mStreamableFile 为 true，为可流化文件保留一个“free” box。根据给 free box 保留的大小和 mInMemoryCacheSize 计算 mdat box（Meida Data Box 媒体数据 box 位于顶层，定义是一个字节数组，用来存储媒体数据）的文件偏移量，并根据 mUse32BitOffset 是否为 true 决定写入 ???mdat 或 \x00\x00\x00\x01mdat??? 字串到文件。
接下来调用 startWriterThread() 开启写线程。
最后调用 startTracks(…) 开始真正处理轨迹相关实际音轨、视频轨迹数据。最后一步 mStarted 置为 true，表明录像已开始。