Android Camera Provider启动流程

在 Android O 中，系统启动时，就会启动 CameraProvider 服务。它将 Camera HAL 从 cameraserver 进程中分离出来，作为一个独立进程 android.hardware.camera.provider@2.4-service 来控制 HAL。
这两个进程之间通过 HIDL 机制进行通信。

这样的改动源自于 Android O 版本加入的 Treble 机制，它的主要功能（如下图所示）是将 service 与 HAL 隔离，以方便 HAL 部分进行独立升级。这其实和 APP 与 Framework 之间的 Binder 机制类似，通过引入一个进程间通信机制而针对不同层级进行解耦（从 Local call 变成了 Remote call）。

下面以Android P进行相应的学习分析。

camera provider 启动

• android/hardware/interfaces/camera/provider/2.4/default/android.hardware.camera.provider@2.4-service.rc

  service vendor.camera-provider-2-4 /vendor/bin/hw/android.hardware.camera.provider@2.4-service
      class hal
      user cameraserver
      group audio camera input drmrpc
      ioprio rt 4
      capabilities SYS_NICE
      writepid /dev/cpuset/camera-daemon/tasks /dev/stune/top-app/tasks
  

在android启动的过程中，init进程调用该脚本启动 camera provider 服务。根据该目录下的 Android.bp 可以知道，其实就是运行该目录下 service.cpp 编译的可执行文件，service.cpp 内容如下：

int main()
{
    ALOGI("Camera provider Service is starting.");
    // The camera HAL may communicate to other vendor components via
    // /dev/vndbinder
    android::ProcessState::initWithDriver("/dev/vndbinder");
    return defaultPassthroughServiceImplementation<ICameraProvider>("legacy/0", /*maxThreads*/ 6);
}

根据以上代码可以得知：

• android::ProcessState::initWithDriver ：camera HAL 通过 /dev/vndbinder 驱动可与其他模块的HAL进行通信；
• defaultPassthroughServiceImplementation ：创建默认为直通模式（passthrough）的 CameraProvider 服务；

LegacySupport.h

文件路径：android/system/libhidl/transport/include/hidl

/**
 * Registers passthrough service implementation.
 */
template<class Interface>
__attribute__((warn_unused_result))
status_t registerPassthroughServiceImplementation(
        std::string name = "default") {
    /* 获得CameraProvider实例化对象（不是Binder代理）,（此处的name为 “legacy/0”） */
    sp<Interface> service = Interface::getService(name, true /* getStub */);

    if (service == nullptr) {
        ALOGE("Could not get passthrough implementation for %s/%s.",
            Interface::descriptor, name.c_str());
        return EXIT_FAILURE;
    }

    LOG_FATAL_IF(service->isRemote(), "Implementation of %s/%s is remote!",
            Interface::descriptor, name.c_str());

    /* 将 CameraProvider 注册为一个服务，其他进程需要使用camera HAL层时，通过Binder
     * 得到 CameraProvider 代理类即可操作 camera HAL层，不需要每次都dlopen(HAL.so)
     * */
    status_t status = service->registerAsService(name);

    if (status == OK) {
        ALOGI("Registration complete for %s/%s.",
            Interface::descriptor, name.c_str());
    } else {
        ALOGE("Could not register service %s/%s (%d).",
            Interface::descriptor, name.c_str(), status);
    }

    return status;
}

获取 CameraProvider 实例对象

从 LegacySupport.h 可以知道，defaultPassthroughServiceImplementation为模板类函数，将会通过 sp<ICameraProvider> service = ICameraProvider::getService(name, true /* getStub */) 获取 CameraProvider 实例化对象，以上操作，将会进入 CameraProviderAll.cpp。

CameraProviderAll.cpp

文件路径：android/out/soong/.intermediates/hardware/interfaces/camera/provider/2.4/android.hardware.camera.provider@2.4_genc++/gen/android/hardware/camera/provider/2.4

// static
::android::sp<ICameraProvider> ICameraProvider::getService(const std::string &serviceName, const bool getStub) {
    return ::android::hardware::details::getServiceInternal<BpHwCameraProvider>(serviceName, true, getStub);
}

HidlTransportSupport.h

文件路径：android/system/libhidl/transport/include/hidl

template <typename BpType, typename IType = typename BpType::Pure,
          typename = std::enable_if_t<std::is_same<i_tag, typename IType::_hidl_tag>::value>,
          typename = std::enable_if_t<std::is_same<bphw_tag, typename BpType::_hidl_tag>::value>>
sp<IType> getServiceInternal(const std::string& instance, bool retry, bool getStub) {
    using ::android::hidl::base::V1_0::IBase;

    sp<IBase> base = getRawServiceInternal(IType::descriptor, instance, retry, getStub);

    if (base == nullptr) {
        return nullptr;
    }

    if (base->isRemote()) {
        // getRawServiceInternal guarantees we get the proper class
        return sp<IType>(new BpType(toBinder<IBase>(base)));
    }

    return IType::castFrom(base);
}

其中，参数 BpHwCameraProvider::descriptor 为android.hardware.camera.provider@2.4::ICameraProvider，instance 为 “legacy/0” ，retry 为 true，getStub 为 true。

ServiceManagement.cpp

文件路径：android/system/libhidl/transport

在调用 getRawServiceInternal() 函数时，由于我们的参数 getStub 为 true，所以，该函数主要执行以下部分：

sp<::android::hidl::base::V1_0::IBase> getRawServiceInternal(const std::string& descriptor,
                                                             const std::string& instance,
                                                             bool retry, bool getStub) {
    ...

	/* getStub 为 true，直通模式，将返回CameraProvider实例对象 */
	if (getStub || vintfPassthru || vintfLegacy) {
        /* 获取ServiceManager代理 */
        const sp<IServiceManager> pm = getPassthroughServiceManager();
        if (pm != nullptr) {
            /* 获取CameraProvider实例对象 */
            sp<IBase> base = pm->get(descriptor, instance).withDefault(nullptr);
            if (!getStub || trebleTestingOverride) {
                base = wrapPassthrough(base);
            }
            return base;
        }
    }

    return nullptr;
}

struct PassthroughServiceManager : IServiceManager1_1 {
    static void openLibs(
        const std::string& fqName,
        const std::function<bool /* continue */ (void* /* handle */, const std::string& /* lib */,
                                                 const std::string& /* sym */)>& eachLib) {
        //fqName looks like android.hardware.foo@1.0::IFoo
        /* fqName = android.hardware.camera.provider@2.4::ICameraProvider */
        size_t idx = fqName.find("::");

        if (idx == std::string::npos ||
                idx + strlen("::") + 1 >= fqName.size()) {
            LOG(ERROR) << "Invalid interface name passthrough lookup: " << fqName;
            return;
        }

        std::string packageAndVersion = fqName.substr(0, idx);
        std::string ifaceName = fqName.substr(idx + strlen("::"));

        /* prefix = android.hardware.camera.provider@2.4-impl */
        const std::string prefix = packageAndVersion + "-impl";
        /* sym = HIDL_FETCH_ICameraProvider */
        const std::string sym = "HIDL_FETCH_" + ifaceName;

        constexpr int dlMode = RTLD_LAZY;
        void* handle = nullptr;

        dlerror(); // clear

        static std::string halLibPathVndkSp = android::base::StringPrintf(
            HAL_LIBRARY_PATH_VNDK_SP_FOR_VERSION, details::getVndkVersionStr().c_str());
        std::vector<std::string> paths = {HAL_LIBRARY_PATH_ODM, HAL_LIBRARY_PATH_VENDOR,
                                          halLibPathVndkSp, HAL_LIBRARY_PATH_SYSTEM};

        for (const std::string& path : paths) {
            std::vector<std::string> libs = search(path, prefix, ".so");

            for (const std::string &lib : libs) {
                const std::string fullPath = path + lib;

                /* 经过上面的一些添加转换，最终
                 * fullPath = /vendor/lib/hw/android.hardware.camera.provider@2.4-impl.so
                 * */
                if (path == HAL_LIBRARY_PATH_SYSTEM) {
                    handle = dlopen(fullPath.c_str(), dlMode);
                } else {
                    handle = android_load_sphal_library(fullPath.c_str(), dlMode);
                }

                if (handle == nullptr) {
                    const char* error = dlerror();
                    LOG(ERROR) << "Failed to dlopen " << lib << ": "
                               << (error == nullptr ? "unknown error" : error);
                    continue;
                }

                /* Lambda表达式代入 */
                if (!eachLib(handle, lib, sym)) {
                    return;
                }
            }
        }
    }

    Return<sp<IBase>> get(const hidl_string& fqName,
                          const hidl_string& name) override {
        sp<IBase> ret = nullptr;

        /* [&] 此处为Lambda表达式，简单理解为函数指针即可，先执行 openLibs() */
        openLibs(fqName, [&](void* handle, const std::string &lib, const std::string &sym) {
            /* handle ：dlopen() 的返回值
             * lib ：android.hardware.camera.provider@2.4-impl.so
             * sym ：HIDL_FETCH_ICameraProvider
             */
            IBase* (*generator)(const char* name);
            /* 返回 HIDL_FETCH_ICameraProvider() 函数对应的函数地址 */
            *(void **)(&generator) = dlsym(handle, sym.c_str());
            if(!generator) {
                const char* error = dlerror();
                LOG(ERROR) << "Passthrough lookup opened " << lib
                           << " but could not find symbol " << sym << ": "
                           << (error == nullptr ? "unknown error" : error);
                dlclose(handle);
                return true;
            }

            /* 执行 HIDL_FETCH_ICameraProvider() 函数，该函数返回CameraProvider实例对象保存在ret，
             * 所以get()函数将返回 ret 
             * */
            ret = (*generator)(name.c_str());

            if (ret == nullptr) {
                dlclose(handle);
                return true; // this module doesn't provide this instance name
            }

            // Actual fqname might be a subclass.
            // This assumption is tested in vts_treble_vintf_test
            using ::android::hardware::details::getDescriptor;
            std::string actualFqName = getDescriptor(ret.get());
            CHECK(actualFqName.size() > 0);
            registerReference(actualFqName, name);
            return false;
        });

        return ret;
    }
}

get() 函数传递进来的fpName为 android.hardware.camera.provider@2.4::ICameraProvider ，name为 legacy/0。

CameraProvider.cpp

文件路径：android/hardware/interfaces/camera/provider/2.4/default

ICameraProvider* HIDL_FETCH_ICameraProvider(const char* name) {
    /* 传递进来的 name 为 legacy/0，而 kLegacyProviderName 定义为 legacy/0 */
    if (strcmp(name, kLegacyProviderName) == 0) {
        /* 创建CameraProvider对象，构造函数将会调用initialize() 函数 */
        CameraProvider* provider = new CameraProvider();
        if (provider == nullptr) {
            ALOGE("%s: cannot allocate camera provider!", __FUNCTION__);
            return nullptr;
        }
        if (provider->isInitFailed()) {
            ALOGE("%s: camera provider init failed!", __FUNCTION__);
            delete provider;
            return nullptr;
        }
        return provider;
    } else if (strcmp(name, kExternalProviderName) == 0) {
        ExternalCameraProvider* provider = new ExternalCameraProvider();
        return provider;
    }
    ALOGE("%s: unknown instance name: %s", __FUNCTION__, name);
    return nullptr;
}

bool CameraProvider::initialize() {
    camera_module_t *rawModule;
    /* 在通过 hw_get_module() 加载HAL层so：其实是通过获取各种android属性
     * （在设备端可以通过 getprop 命令查看当前设备支持的属性），
     * 得到HAL so的名称（*variant_keys[]），而后探测、加载该HAL so库，并通
     * 过 dlsym() 函数返回标识符为 HAL_MODULE_INFO_SYM_AS_STR 的HMI地址
     * （由于各个HAL层代码最终会通过 HAL_MODULE_INFO_SYM 修饰，编译器识别到
     * 该符号时将会将标示地址导出为HMI符号，从而在加载HAL so时可以获取）
     */
    int err = hw_get_module(CAMERA_HARDWARE_MODULE_ID,
            (const hw_module_t **)&rawModule);
    if (err < 0) {
        ALOGE("Could not load camera HAL module: %d (%s)", err, strerror(-err));
        return true;
    }
    /* rawModule 将指向 HAL 中的 camera_module_t 类型结构体，
     * 此时，CameraProvider 与 camera HAL 绑定成功，可以通过
     * CameraProvider操作camera HAL
     */
    /* 创建 CameraModule 对象 */
    /* CameraModule.cpp：android/hardware/interfaces/camera/common/1.0/default */
    mModule = new CameraModule(rawModule);
    /* mModule->init()主要完成以下操作：
     * 1. 当camera HAL的 module_api_version >= CAMERA_MODULE_API_VERSION_2_4，将调用HAL->init()
     * 2. 通过 HAL getNumberOfCameras() 获取设置camera数量，并将该参数设置为 mCameraInfoMap 容器的大小
     * */
    err = mModule->init();
    if (err != OK) {
        ALOGE("Could not initialize camera HAL module: %d (%s)", err, strerror(-err));
        mModule.clear();
        return true;
    }
    ALOGI("Loaded \"%s\" camera module", mModule->getModuleName());

    ...

    mNumberOfLegacyCameras = mModule->getNumberOfCameras();
    for (int i = 0; i < mNumberOfLegacyCameras; i++) {
        struct camera_info info;
        /* 将获取camera信息并保存，其中将有HAL version 信息，应用
         * 层将会检查HAL层版本信息从而确认调用不同的API实现相机应用
         */
        auto rc = mModule->getCameraInfo(i, &info);
        if (rc != NO_ERROR) {
            ALOGE("%s: Camera info query failed!", __func__);
            mModule.clear();
            return true;
        }

        ...
    }

    return false; // mInitFailed
}

至此，已获得CameraProvider实例对象，最终返回赋值给 registerPassthroughServiceImplementation() 函数中的 service 。

将 CameraProvider 注册为服务

在得到CameraProvider实例对象之后，将通过 service->registerAsService(name) 进行服务注册。

::android::status_t ICameraProvider::registerAsService(const std::string &serviceName) {
    ::android::hardware::details::onRegistration("android.hardware.camera.provider@2.4", "ICameraProvider", serviceName);

    const ::android::sp<::android::hidl::manager::V1_0::IServiceManager> sm
            = ::android::hardware::defaultServiceManager();
    if (sm == nullptr) {
        return ::android::INVALID_OPERATION;
    }
    /* 通过add()，最终调用到 ServiceManagerAll.cpp
    （路径是android/out/soong/.intermediates/system/libhidl/transport/manager/1.0/
           android.hidl.manager@1.0_genc++/gen/android/hidl/manager/1.0）
     中的BpHwServiceManager::add()进行注册服务
    */
    ::android::hardware::Return<bool> ret = sm->add(serviceName.c_str(), this);
    return ret.isOk() && ret ? ::android::OK : ::android::UNKNOWN_ERROR;
}

由于当前CameraProvider是通过hidl进行相应的操作，这部分的内容可以在网上进行搜索，这里就不再进行相应的跟踪了。（主要是我也不懂:-D）

最后

当CameraProvider注册为服务之后，CameraService运行时，将会与之进行通信进而操作camera HAL，这样，HAL与Service进行了一道隔离。下图为在跟踪代码过程中，记录的UML图。

参考文章

在了解学习CameraProvider服务的过程中，参考了网上很多的优秀文章，感谢！

[Android O] Camera 服务启动流程简析

Android P之Camera HAL3流程分析（0）

Android Camera原理之camera provider启动