往期鸿蒙全套实战精彩文章必看内容:
一、概述
OpenAtom OpenHarmony(以下简称“OpenHarmony”)面向用户提供了多种人机交互方式,除了支持多种传统输入设备,系统内部还会将各种设备有机结合,发挥分布式/跨设备等优势,事件作为主体媒介,面向多业务场景提供系统级支撑能力。
多模输入是OpenHarmony输入事件的管理框架,本文将基于4.0 Release解读事件在多模分发过程。
二、输入事件数据流程
结合上图,多模处理来自底层输入设备状态和操作设备产生的具体事件。
1、输入设备状态
多模收到底层描述设备状态变化的事件后,设备管理模块负责对输入设备全局进行管理和维护,解析设备属性,定义设备唯一标识deviceId,对应保存设备属性信息(struct InputDeviceInfo),包含设备名称,支持的输入方式等。同时,会将设备状态通知给上层业务模块设置的监听回调,告知设备状态。
2、输入事件
多模收到底层的原始输入事件后,进入事件处理职责链,按事件的源设备类型区分进入不同的流程处理,然后将事件包含的属性统一映射转化成OpenHarmony定义的标准输入事件PointerEvent和KeyEvent,通过事件职责链的分发机制和规则完成事件分发。
三、输入事件处理逻辑
多模输入框架的代码在foundation下的multimodalinput仓,了解一个子系统的能力可以先去看其对外接口的功能,定义在interfaces\native\innerkits\proxy\include\input_manager.h中,每个接口都有详细的注解。
以下将详细分析输入事件在多模分发的过程:
1、多模服务启动
void MMIService::OnStart()
{
...
int32_t ret = Init();
...
}
MMIService::OnStart()函数Init()中,调用输入事件处理类InputEventHandler的Init()接口构建事件处理职责链,并将InputEventHandler中事件入口函数OnEvent()向下注册
int32_t MMIService::Init()
{
...
InputHandler->Init(*this);
if (!InitLibinputService()) {
return LIBINPUT_INIT_FAIL;
}
...
}
void InputEventHandler::Init(UDSServer& udsServer)
{
BuildInputHandlerChain();
}
bool MMIService::InitLibinputService()
{
... if(!(libinputAdapter_.Init(std::bind(&InputEventHandler::OnEvent, InputHandler, std::placeholders::_1)))) {
return false;
}
...
}
2、事件处理类
事件处理类InputEventHandler,定义在service\event_handler\include\input_event_handler.h中,维护事件职责链对象,决定事件处理的下一流程。
通过上图可以看到,基类IInputEventHandler中定义了Key/Pointer/Touch事件处理接口,各事件处理类继承后,根据业务逻辑分别实现这三个接口;
构建事件处理职责链在InputEventHandler类的BuildInputHandlerChain函数,分析其实现:
-
InputEventHandler中维护了各事件处理流程的对象
-
通过SetNext方法设置下一个处理流程对象, 保存在当前事件处理类的成员nextHandler_中
-
当前事件流程处理完成后,通过nextHandler_调用具体的Key/Pointer/Touch实现方法
3、事件处理逻辑及规则
3.1 事件归一化处理
事件归一化主要是将收到的原始事件映射封装,转化成OpenHarmony定义的标准输入事件,描述事件产生的坐标信息 键值和源设备等属性,基类InputEvent描述事件类型 时间戳等属性。
-
主要接口图示
-
窗口基本概念
事件转化完成后,最终确定分发目标,事件到底由谁来消费,首先来理解一下窗口的基本概念:
每个 Ability 在创建时都会创建一个主窗口,子窗口必须依附于主窗口来创建与显示;
\foundation\windowmanager仓下,有两个服务,DMS和WMS,主要功能如下:
DMS 提供 Display 信息、Display 事件通知以及管理 Display 与 Screen 映射关系;
WMS 主要负责 Window 的管理,比如创建、销毁、布局、层级的管理,并提供窗口布局、焦点、事件分发的能力。
-
找窗口
代码实现:\foundation\multimodalinput_input\service\window_manager
多模的窗口信息来源是WMS,WMS感知到窗口变化后,构建Z序层级,将DisplayInfo和WindowInfo封装成displayGroupInfo,通过UpdateDisplayInfo接口同步到多模;
事件遵循以下分发原则匹配目标窗口:
KeyEvent:统一分发到焦点窗口。
PointerEvent:通常情况下,事件坐标落在哪个目标上,就分发给对应的目标。
按下场景:
指针属性类设备当有按钮按下时,后续事件分发给按下锁定的窗口,直到所有按钮都抬起;
触摸事件,按下的后续事件分发给第一个手指按下锁定的窗口,直到所有手指都抬起。
3.2 事件拦截
代码实现:\foundation\multimodalinput_input\service\interceptor\
事件拦截器由外部注册,对应input_manager.h中的AddInterceptor三个接口,拦截器维护在EventInterceptorHandler类中,拦截器的规则比较简单:当有拦截器注册时,输入事件将会终止上报,所有事件都会上报给相应的拦截器。
3.3 按键订阅
代码实现:\foundation\multimodalinput_input\service\subscriber
按键订阅只针对Key事件,直接分发给订阅模块处理,结束该事件的分发流程。
3.4 事件监听
代码实现:\foundation\multimodalinput_input\service\monitor
输入事件没有拦截器注册时,会走到监听流程,对应AddMonitor三个接口,主要场景是针对系统级应用。
监听不会影响输入事件继续上报。
3.5 事件派发
代码实现:\foundation\multimodalinput_input\service\event_dispatch
输入事件不被拦截的情况下,分发到具体的应用进程,分发目标在找窗口环节根据相关规则已确定,windowInfo中包含了具体窗口属性信息,包含窗口所在进程PID,使用Socket将打包后的事件发送到应用进程。
派发前会再次校验窗口是否销毁,不存在则结束派发。
触摸事件按下的后续事件分发给第一个手指按下锁定的目标,当第一个手指DOWN事件发生的时候,根据坐标匹配到窗口后,调用UpdateTouchScreenTarget接口,目标窗口会被记录到touchItemDownInfos_成员中,直到POINTER_ACTION_UP上报后,清除DOWN下的窗口信息。鼠标类设备同理。
四、总结
本文梳理了输入事件在多模的主要处理流程,实际上相关分发策略更为复杂,一
看完三件事❤️
- 如果你觉得这篇内容对你还蛮有帮助,我想邀请你帮我三个小忙:
- 点赞,转发,有你们的 『点赞和评论』,才是我创造的动力。
- 关注作者 ,不定期分享原创知识。
- 同时可以期待后续文章ing🚀。