在康佳智能电视上,用户可以通过遥控器、手机或者远场进行语音指令的输入,语音指令经过讯飞语音精灵的语音识别和语义分析之后,交由康佳智能控制服务对语义进行分发,分发至系统软件或第三方软件,由相关软件执行语义对应的操作。该功能模块一直是康佳电视的重点模块以及卖场推介功能。
- 项目职责:
负责智能控制服务的持续迭代和维护,对接第三方应用包括有爱奇艺的搜索和播放控制、腾讯视频的搜索和播放、京东微联的智能家居服务、QQ音乐的搜索播放、全民K歌的搜索、国华识别的视频通话系统、蓦然认知的生活服务等。
适配讯飞和微纳两款遥控器,以及通过遥控器控制机顶盒和风扇。
将智能控制服务项目从 Eclipse 迁移至 Android Studio 。
在不同机型上适配语音精灵模块(包括讯飞语音精灵和康佳智能控制服务等)。
涉及第三方的问题时,对问题进行分析,并将问题反馈给讯飞或者第三方应用。 - 技术要点:
在智能控制服务注册讯飞相关语义,从而使该语义可以通过智能控制服务进行分发;或者对接讯飞的文本接口,直接获得文本并传给第三方应用。
根据第三方应用提供的对接文档,通过 jar 包、scheme 方式或 aidl 等对接第三方应用以实现新的需求。分析第三方应用产生的日志,协助快速定位问题。
以下为具体项目需求:
-
对接腾讯视频
直接搜索并拉起播放:根据关键词通过搜索接口获取第一个video_id
或cover_id
,然后再构造uri
通过scheme
方式直接拉起腾讯视频播放。 -
对接爱奇艺(jar)
播放控制等使用全程指令;可以直接搜索拉起播放。
通过topActivity
判断当前是否是爱奇艺,如是则先向语音精灵提交场景信息,才能执行全程语音交互命令。
先生成VoiceEvent
,然后mVoiceClient.dispatchVoiceEvent(voiceEvent)
。 -
对接京东微联主控方案(jar)
由康佳智能家居实质对接京东微联,智能控制服务对接康佳智能家居。
康佳智能家居提供jar包,包括有aidl连接康佳智能家居的服务以及发送指令;智能控制服务对接该jar包,连接该服务并处理服务反馈的json数据。
讯飞将不能处理的语义统一理解为文本语义,并通过文本接口回调,智能控制服务将文本发送至智能家居服务,如智能家居无法处理,则将文本再传回给讯飞。 -
838平台适配语音精灵
838平台静音情况下设置音量相当于取消静音,故在压低音量前加判断是否处于静音状态。
将音量压低至0在838平台会出现静音图标,故压至1。 -
对接QQ音乐
通过scheme
方式拉起QQ音乐:先构造uri
,然后intent.setData(uri)
,再把intent
发给QQ音乐 -
对接国华识别(jar)
先获取联系人并传给语音精灵,功能包括开启打电话,打电话给某人,接电话和挂电话。 -
对接全民K歌
与对接QQ音乐类似,都是通过scheme
方式拉起。 -
对接蓦然认知
讯飞提供文本接口开关接口,接口的作用是是否需要NLP,默认需要。当在蓦然界面时,把开关打开,拿到文本直接传给蓦然处理。 -
811平台适配语音精灵
实现远场语音假待机下唤醒方案。
Android O对隐式广播进行了限制,发送广播时改用显式intent
。 -
京东定制机
京东直接提供aidl接口文件,无需jar包。通过aidl绑定京东的服务后,通过aidl接口发送指令并处理返回的json数据。 -
适配讯飞和微纳遥控器
根据pid
和vid
判断是哪种遥控器,对接风扇、机顶盒等(jar),enable或disable相应的智控。 -
批量安装
先把安装包批量从assets
复制到SD卡,然后逐个发给静默安装系统去安装。