5G终端视频客服需求及实现方式

5G视频客服的适老化需求聚焦“远程辅助”和“触屏交互”两项功能。

需要UI、AP framework和Modem共同实现完成需求。

UI需要终端自行按需求开发实现。

芯片商提供AP framework层和modem的修改方案。

终端厂商要自行和CMCC客服端进行功能上的调试验证，完成功能认证。

远程辅助功能

日常用户尤其是老年人使用手机时，经常遇到“看不清、听不懂、不会用”等问题，此时只能线下求助子女、亲属、营业厅或者手机卖场的工作人员，这种方式存在服务短板，不能“随时、专业、高效”地为用户提供服务。现在，通过将5G视频客服和中国移动10086客服相结合，可有效解用户的用机困难问题。

• 业务场景

当用户遇到用机问题时，可直接拨打10086，在和坐席通话过程中，用户可发起远程辅助，将手机屏幕实时分享给坐席，由坐席指导用户解决问题。整个服务过程中，坐席只能观看用户手机屏幕内容，由用户本人按照指示操作。

通过“远程辅助”功能，10086 坐席可以远程指导用户使用手机， 解决使用手机或 app 的问题。

• 使用条件

（1）用户使用支持 VoLTE 视频通话的手机拨打 10086（10086 指号码为“10086”或者号码为“各省地市区号+10086”）；

（2）中国移动 5G 视频客服系统根据服务策略，将用户来话升级为单向视频（此时用户可以看到“远程辅助”按钮，但不能点击）；

（3）中国移动 5G 视频客服系统将用户来话升级为双向视频（此时用户可以点击启动“远程辅助”功能）。

• 服务流程

（1）建立双向视频通话  

用户接通人工服务后，坐席向用户发起双向视频前，进行隐私政策知情告知，客户授权同意后发起双向视频升级申请，屏幕弹出确认弹窗，同意后即可建立双向视频会话。此时右上角浮窗内展示手机前置摄像头画面，“远程辅助”键由置灰状态变为高亮。（“远程辅助”键在音频会话下不予展示，在单向视频通话下需置灰展示）

（2）发起远程辅助  

在双向视频会话中，用户可通过终端功能面板上“远程辅助”键发起远程辅助，用户同意之后随即弹出确认远程辅助提示，用户确认之后，开始建立连接，连接成功后，摄像头浮窗隐藏，通话计时处新增远程辅助计时，与通话时长轮播展示。

（3）远程辅助中切换应用  

当用户从通话切换至其他应用后，视频客服服务画面需生成缩略浮窗，并实时更新画面内容，点击浮窗或左上角状态提示均可返回通话页，点击功能面板中的“结束远程辅助”键可结束远程辅助，结束后屏幕右上角恢复摄像头画面显示。

• 技术说明  

手机终端实现基于 5G 视频客服的“远程辅助”功能，技术上依托VoLTE双向视频通话功能，可以简化理解为“视频源”的切换，即只是将原来由前/后摄像头采集的视频，切换为手机屏幕的截屏视频流，摄像头画面和远程辅助画面视频源切换时，视频流的码率参数、分辨率等参数保持不变，视频图像应在铺满上下左右均不留黑边，图像允许出现一定程度比例压缩。

手机终端实现“远程辅助”功能，需要依赖芯片提供视频源切换的能力，以下是MTK的建议接口，供参考：

可以使用AOSP API: setCamera(String cameraId), 通过将cameraId传固定string “screen”即可将视频源切换为屏幕截屏视频流。

结束屏幕共享的方式为重新设置回camera对应的有效camera Id。

屏幕共享过程中，由于始终是按竖屏方式共享，因此屏幕共享过程中，UI需要屏蔽setDeviceOrientation，即使UI有监测到用户有转屏，也不要调用setDeviceOrientation方法（只限于屏幕共享过程中）。

远程辅助开关MTK_SUPPORT_VIDEO_CALL_CMOS，为0表示关闭，如要打开该功能需修改为1

屏幕共享功能，通过carrierconfig “mtk_key_vt_screen_share_support_bool” 控制，如果需要打开屏幕共享功能，需要把该carrierconfig设置为true

屏幕共享目前只是针对适老化视频客服的需求。

只有在进行视频客服时，才允许显示屏幕共享的功能。

触屏交互功能

目前5G视频客服服务过程中，用户可以观看播放的各类视频，如果想和系统交互，只能打开通话界面的拨号键盘，通过按键方式输入有限信息，且使用方式较为复杂，尤其是对于老年人使用门槛更高。因此，5G视频客服需要升级交互模式，实现“所见即所得”的直观操作，即触屏交互功能。

• 业务场景

用户拨打热线电话，可以观看视频内容，并直接点选所需服务或滑动浏览介绍内容，完成业务流程。

通过“触屏交互”功能，用户在使用5G视频客服时可更加直观地与系统交互，降低使用门槛，提升用户体验。

• 使用条件

（1）手机终端支持VoLTE视频客服，且支持5G视频客服的触屏交互功能；

（2）手机拨打的呼叫中心服务号码，其呼叫平台支持5G视频客服的触屏交互功能；

（3）手机终端和呼叫平台通过信令协商，了解双方是否支持触屏交互功能，完成触屏能力协商流程。

• 终端UI要求

若使用现有手机终端VoLTE视频通话UI界面，直接支持触屏交互功能，会存在操作逻辑问题。为确保用户能够顺利使用5G视频客服的触屏交互功能，特制定5G视频客服触屏交互的终端交互UIUE规范，将终端功能面板和触屏业务区做区域划分。此规范是中国移动5G视频客服适老化能力实现的基本前提。

（1）手机屏幕区域划分说明

根据初步调研，目前市场上大部分手机比例约为9:20，部分手机约为9:19，为保证用户体验，以新上市机型较多采用的9:20屏幕比进行适配。

（2）适配布局说明

9：20屏幕机型：触屏区域以5：8固定的宽高比，以720*1600px为例，状态栏高度48px，占比3%；触屏区域高度为1152px，占比为72%；终端底部功能区高度为400px，占比25%；

9:19及其余比例机型：视频客服触控区需始终保持5：8的比例完整展示，自状态栏下方起，终端功能面板根据底部剩余面积进行适配。

视频客服触控区整体保持等宽居上适配。

（3）终端功能面板交互

当功能面板更多功能（如拨号盘）被唤起时，会遮盖部分触控区，此时应增加遮罩蒙层，停止业务内容响应，待面板功能使用完毕，点击遮罩区域恢复功能面板默认状态，恢复业务响应。

（4）摄像头浮窗交互 

当视频浮窗出现后，固定在右上角位置，不支持拖动，视频客服业务按键热区避开此部分区域。当用户点击浮窗，本地摄像头画面变为大屏展示，此时应暂停触屏坐标回传。

• 技术说明  

1. 触屏交互功能 SIP 信令协商流程  

视频客服平台在与终端（CP 层）进行信令交互建立会话时，视频客服平台在 SDP 中增加视频客服标签行（a=content:g.3gpp.cmos）；终端侧（CP 层）需要识别标签行。

对于由终端呼出的会话，在收到视频客服平台的 200OK，并发送 ACK后，CP 层把标签行的内容（content:g.3gpp.cmos）传递给 AP 层。AP 层对标签行的内容进行解析。当 AP 层发现内容包含

“content:g.3gpp.cmos”之后，AP 层发送 INFO（内容包含“ack:g.3gpp.cmos”），经由 CP 层封装后（Content

Type:application/text）发送到视频客服平台。

对于由视频客服平台呼出的会话，CP 层发出 200OK，收到视频客服平台的 ACK 后，CP 层把标签行的内容（content:g.3gpp.cmos）传递给AP 层。AP 层对标签行的内容进行解析。当 AP 层发现内容包含

“content:g.3gpp.cmos”之后，AP 层触发发送 INFO（内容包含“ack:g.3gpp.cmos”），经由 CP 层封装后（Content

Type:application/text）发送到视频客服平台。

（1）简要对接流程

终端呼叫视频客服平台流程：

视频客服平台呼叫终端流程：

（2）对 CP 的需求

信令协商过程中，CP 层能解析视频客服平台发送的 SDP 中携带的a=content:g.3gpp.cmos 行。

在会话建立同时，CP 层向 AP 层推送的会话建立事件之中添加上述 SDP 携带的行信息（content:g.3gpp.cmos）。

CP 层能提供接口（与发送触屏坐标的接通相同）。AP 层调用此接口能设置并发送 INFO 消息（Content-Type 为application/text）。

（3）对 AP 的需求

AP 通过 CP 上传的会话建立事件，能够识别 SDP 中携带的行信息（content:g.3gpp.cmos）为视频客服平台支持触屏互动，并调取相应的交互 UI。

AP 在识别出“content:g.3gpp.cmos”信息后，如果终端支持触屏功能，能回复内容为“ack:g.3gpp.cmos”的 INFO（详见 INFO格式）

（4）触屏功能协商中 INFO 消息格式

触屏功能应答的 INFO 消息格式（由终端发送给视频客服平台）

Content-Type:application/text

<?xml version="1.0" encoding="UTF-8" ?>

<msml version="1.1">

<send event="ack:g.3gpp.cmos" />

</msml>

2. 触屏交互功能说明  

5G 视频客服触屏交互功能主要包含 2 种操作：点击和滑动。在实现方式上，两种操作的实现方式相同。以点击操作为例，用户点击手机终端屏幕，手机终端获取终端屏幕坐标，并将手机终端屏幕坐标转换成视频坐标，手机将互动指令（视频坐标）通过 SIP INFO 送至 5G 视频客服系统；5G 视频客服系统回复 200 OK（INFO），并解析用户操作指令，根据业务规则响应，向手机终端发送新的视频。

手机终端收到 5G 视频客服发送的视频后，有三种方式进行视频展示，分别为拉伸铺满、平铺留边、剪裁，推荐手机终端采用剪裁模式来展示视频。

手机终端实现 5G 视频客服的“触屏交互”功能，需要依赖芯片提供SIP INFO 的操作接口，以下是 MTK 的建议接口，供参考

sendCallEvent(String event, Bundle extras) ，event 传

“mediatek.telecom.event.CALL_EVENT_VIDEO_SCREEN_OPERATION”，

可以参考 mtk 的 createMediaActionBundle 函数，Bundle extras 里点击坐标时，putInt(“type”, 2) // 2 表示点击屏幕

putString(“data”, “(x, y)#”) //x, y 为点击的坐标值

putInt(“type”, 3) // 3 表示滑动屏幕

putString(“data”, “(x1, y1)(-1, SEQ)#”) //-1 表示是本次滑动的起点坐标，SEQ：用户开始滑动时的时间戳（毫秒级）作为本次滑动操作的唯一标识。

putString(“data”, “(x2, y2)(-2, SEQ)#”) //-2 表示本次滑动距离开始滑动点 20 像素的坐标，SEQ：用户开始滑动时的时间戳（毫秒级）作为本次滑动操作的唯一标识。

putString(“data”, “(x3, y3)(-3, SEQ)#”) //-3 表示本次滑动的终点坐标，SEQ：用户开始滑动时的时间戳（毫秒级）作为本次滑动操作的唯一标识。

欢迎关注微信公众号“我想我思”