【鸿蒙南向开发】OpenHarmony Camera源码分析

91 篇文章 0 订阅
91 篇文章 0 订阅

一、简介

当前,开源在科技进步和产业发展中发挥着越来越重要的作用,OpenAtom OpenHarmony(简称“OpenHarmony”)赋予了开发者孕育创新的种子,也为数字化产业发展开辟了一片土壤。深开鸿是开源的坚定践行者,基于OpenHarmony聚焦智能物联网操作系统(KaihongOS)技术研发与持续创新。

OpenHarmony Camera是多媒体子系统中的一个重要模块,Camera提供了OpenHarmony相机的预览、拍照和录像等功能。作为深开鸿的一名OS系统开发工程师,我长期致力于OpenHarmony框架层的研发工作,在OpenHarmony相机模块的拍照、预览和录像方面积累了一些经验,我将围绕着这三个核心功能对OpenHarmony Camera源码进行详细的分析。

二、OpenHarmony相机子系统

(1)系统简介

相机组件支持相机业务的开发,开发者可以通过已开放的接口实现相机硬件的访问、操作和新功能开发,最常见的操作如:预览、拍照和录像等。

image.png

架构图

相机框架中主要包含会话管理、设备输入和数据输出,设备的输入和数据的输出配置都是在采集会话中完成,会话管理模块管理相机设备输入和数据输出。应用层在调用相机功能时,首先需要创建采集会话,在配置会话的过程中会将创建的设备输入和数据输出添加到采集会话中。

相机框架中几个重要的概念

会话管理:对相机采集的生命周期、参数配置、输入和输出的管理。

设备输入:主要的输入设备是相机,对相机的输入参数进行设置,比如设置闪光灯模式等。

数据输出:相机的输出有拍照输出、预览输出和录像输出,分别对应三个不同的类,所以上层需要根据不同的场景创建出不同的数据输出。
image.png

相机底层功能图

相机驱动框架模型对上实现相机HDI接口,对下实现相机Pipeline模型,管理相机各个硬件设备。底层硬件提供了相机设备功能,比如相机的设备管理,包括相机设备枚举、相机设备能力查询、流的创建管理以及图像的捕获。

(2)功能模块

会话管理模块

会话管理模块的主要功能是配置会话的输入(设备输入)和输出(数据的输出),以及控制会话的开始和结束,主要接口有:

image.png

设备输入模块

相机输入主要是给会话设置设备的输入,设备输入模块可以设置和获取输入设备的参数,比如闪光灯模式、缩放比例、对焦模式等,主要接口有:

image.png

数据输出模块

数据输出模块根据不同的场景分为拍照输出、预览输出和录像输出。其中拍照的输出是通过PhotoOutput的Capture接口来提供拍照功能,预览和录像则是通过StreamRepeat提供的接口实现。主要接口有:

image.png

(3)功能特性或应用场景

相关功能接口:相机拍照、相机预览、相机录像。

相机的主要应用场景是拍照、预览和录像,以下针对这三个场景进行流程的分析。

image.png

camera_standard\interfaces\inner_api\native\test目录下应用文件进行拍照、预览和录像功能的使用,进行源码分析。

拍照源码分析

拍照功能根据camera_capture.cpp文件中的main方法进行分析,以下列举了main方法中的主要调用步骤,并且在注释中介绍核心代码的功能。

image.png

在拍照过程中首先获取相机管理器实例并获得相机对象列表,然后创建并配置采集会话(其中包括配置相机输入、创建消费者Surface以及监听事件、配置拍照输出),最后拍摄照片,释放资源。

以下是拍照流程的时序图,流程只分析到CameraService,后续的操作是通过Camera的Service和HDI接口进行调用,最终调用到Camera的底层HDF实现。以下对几个核心代码进行具体分析。

image.png

① 创建采集会话App侧先调用CameraManager的CreateCaptureSession接口。

image.png

CameraManager中有一个serviceProxy_变量,这个变量在CameraManager初始化的时候赋值。

image.png

CameraManager中通过serviceProxy_调用CreateCaptureSession,实际上是调用到HcameraService的CreateCaptureSession接口,新建了HCaptureSession对象,并通过CreateCaptureSession参数进行返回。

image.png

② 创建消费者Surface并注册监听器以监听缓冲区更新

调用Surface的CreateSurfaceAsConsumer接口。

image.png

创建ConsumerSurface对象,然后对该对象进行初始化操作,Init主要创建BufferQueue并初始化,使用BufferQueue作为参数创建出BufferQueue的Producer和Consumer,作为数据生产者和消费者。

image.png

创建CaptureSurfaceListener对象。CaptureSurfaceListener继承IbufferConsumerListener抽象类,实现了OnBufferAvailable接口,capture成功后,在这个接口中通过surface的AcquireBuffer方法来获取帧数据,进行保存图片的处理。

image.png

接下来是注册监听器,方法是调用ConsumerSurface的RegisterConsumerListener接口。

image.png

调用BufferQueueConsumer的RegisterConsumerListener接口,最终是调用到BufferQueue的RegisterConsumerListener接口。

image.png

image.png

③ 拍摄照片

调用PhotoOutput的Capture接口实现拍照功能。

image.png

通过streamCapture_调用到了HstreamCapture的Capture接口。

image.png

调用流程来到了StreamOperatorProxy的Capture接口,StreamOperatorProxy是HDI模块的client端,HDI模块的client通过IPC调用到HDI的server端进行具体的操作,这个属于底层调用模块,暂时不继续分析。

预览源码分析

预览功能根据camera_capture.cpp文件中的main方法进行分析,以下列举了main方法中的主要调用步骤,并且注释中介绍核心代码的功能。

image.png

在预览过程中首先获取相机管理器实例并获得相机对象列表,然后创建并配置采集会话(其中包括配置相机输入、创建消费者Surface以及监听事件、配置预览输出),最后开始预览、停止预览、释放资源。

以下是预览流程的时序图,流程只分析到CameraService,后续的操作是通过Camera的Service和HDI接口进行调用,最终调用到Camera的底层HDF实现。由于预览和拍照流程有部分一致,我们只分析差异部分的流程。

image.png

① 创建预览输出

首先调用CameraManager的CreateCustomPreviewOutput接口。

image.png

调用HcameraService的CreateCustomPreviewOutput的接口,这个接口中会创建HStreamRepeat对象,并将对象赋值给streamRepeat的参数,后续根据streamRepeat创建PreviewOutput对象返回,PreviewOutput作为预览的输出。

image.png

②开始预览

首先调用CaptureSession的Start接口。

image.png

接着调用HCaptureSession的Start接口。

image.png

在HCaptureSession的调用中,调用HStreamRepeat的Start接口,HStreamRepeat在上述的创建预览输出时创建的对象,最终调用到HStreamRepeat的StartPreview接口。

image.png

image.png

在StartPreview方法中调用streamOperator_的Capture接口,第三个参数传入true,表示连续抓取数据。streamOperator_的调用是在HDI中的操作,属于底层操作,暂不进行分析。

录像源码分析

录像功能根据camera_video.cpp文件中的main方法进行分析,以下列举了main方法中的主要调用步骤,并且注释中介绍核心代码的功能。

image.png

在录像过程中首先获取相机管理器实例并获得相机对象列表,然后创建并配置采集会话(其中包括配置相机输入、创建视频输出),最后进行视频的录制、暂停、恢复和停止。

以下是录像流程的时序图,流程只分析到了CameraService相关,后续的操作是通过Camera的Service和HDI接口进行调用,最终调用到Camera的底层HDF实现。录像流程跟上述流程基本一致,针对差异流程做相关的源码分析。

image.png

①创建录像输出

首先调用CameraManager的CreateVideoOutput接口,在CameraManager会调用serviceProxy_变量的CreateVideoOutput.

image.png

serviceProxy_最终会调用到HcameraService的CreateVideoOutput接口,在HcameraService中会创建HStreamRepeat对象,创建成功后会将该对象赋值给CreateVideoOutput的第二个参数streamRepeat,这个参数会在CameraManager中作为创建VideoOutput的参数。

image.png

②开始录像

首先调用VideoOutput的Start接口,接着会调用到streamRepeat_的Start接口。

image.png

最终由StartVideo接口来实现录像的功能。

image.png

调用streamOperator的Capture接口来进行录像,其中第二个参数captureInfoVideo是video相关的信息参数。

image.png

三、总结

本文首先对相机预览、拍照和录像功能的应用层进行了代码分析,其次对框架层的流程进行了梳理,最后再对框架源码进行分析。希望通过本文能帮助开发者初步掌握OpenHarmony Camera源码工作的整个流程。

写在最后

有很多小伙伴不知道学习哪些鸿蒙开发技术?不知道需要重点掌握哪些鸿蒙应用开发知识点?而且学习时频繁踩坑,最终浪费大量时间。所以有一份实用的鸿蒙(HarmonyOS NEXT)文档用来跟着学习是非常有必要的。

这份鸿蒙(HarmonyOS NEXT)文档包含了鸿蒙开发必掌握的核心知识要点,内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony南向开发、鸿蒙项目实战等等)鸿蒙(HarmonyOS NEXT)技术知识点。

希望这一份鸿蒙学习文档能够给大家带来帮助,有需要的小伙伴自行领取,限时开源,先到先得~无套路领取!!

获取这份完整版高清学习路线,请点击→纯血版全套鸿蒙HarmonyOS学习文档

鸿蒙(HarmonyOS NEXT)5.0最新学习路线

在这里插入图片描述

有了路线图,怎么能没有学习文档呢,小编也准备了一份联合鸿蒙官方发布笔记整理收纳的一套系统性的鸿蒙(OpenHarmony )学习手册(共计1236页)与鸿蒙(OpenHarmony )开发入门教学视频,内容包含:ArkTS、ArkUI、Web开发、应用模型、资源分类…等知识点。

获取以上完整版高清学习路线,请点击→纯血版全套鸿蒙HarmonyOS学习文档

《鸿蒙 (OpenHarmony)开发入门教学视频》

在这里插入图片描述

《鸿蒙生态应用开发V3.0白皮书》

在这里插入图片描述

《鸿蒙 (OpenHarmony)开发基础到实战手册》

OpenHarmony北向、南向开发环境搭建

在这里插入图片描述

《鸿蒙开发基础》

●ArkTS语言
●安装DevEco Studio
●运用你的第一个ArkTS应用
●ArkUI声明式UI开发
.……
在这里插入图片描述

《鸿蒙开发进阶》

●Stage模型入门
●网络管理
●数据管理
●电话服务
●分布式应用开发
●通知与窗口管理
●多媒体技术
●安全技能
●任务管理
●WebGL
●国际化开发
●应用测试
●DFX面向未来设计
●鸿蒙系统移植和裁剪定制
……
在这里插入图片描述

《鸿蒙进阶实战》

●ArkTS实践
●UIAbility应用
●网络案例
……
在这里插入图片描述

获取以上完整鸿蒙HarmonyOS学习文档,请点击→纯血版全套鸿蒙HarmonyOS学习文档

  • 6
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值