xMedia来了！支付宝客户端的智能化“武器”

1、智能终端的发展趋势

1983年摩托罗拉第一台移动电话问世开始，手机已走过了30多年的历史。在最初的功能机时代，手机提供语音通话和短信功能，初步解决了人和人之间的交流需求；在随后的智能机时代，高质量的图像、视频能力成为竞争的重点，语音消息、图片共享、视频通话成为社交的主流方式，有效的丰富了人们之间的交流体验。

从苹果2007年发布IPhone开始，智能手机经过10年的发展，目前的视网膜分辨率、4K2K视频拍摄，12M双目拍照已经成为业界主流，音频、视频的效果已基本达到普通用户的体验上限。更高的显示分辨率、更高的图像、视频分辨率对用户的边际价值越来越低，智能手机又一次走到了发展的拐点。

1.1 传感器

摄像头作为最重要的传感器，在过去几十年产生了翻天覆地的变化：

分辨率：从最初的2M增长到现在的主流12M，Nokia曾推出过高达41M的手机；
多目相机：双目相机成为主流，通过双目视觉计算周边环境的深度Depth信息，从而实现大光圈效果、 3D建模等能力；据传华为新一代P20聚成将搭载三目摄像头，增强变焦效果；
主动光源相机：苹果IPhoneX首次将结构光相机引入手机，获得高精度深度Depth信息，实现FaceID；

麦克风作为重要但是容易被忽视的传感器，也有了很大的演进。以IPhoneX为例，通过不同个位置的4个麦克风形成麦克风阵列，实现对声场的重建，实现声源定位、远距离拾音、定向拾音等一系列相应功能。其他手机也基本采用类似设计，提升语音交互及音频体验。

除此之外，手机中集成了陀螺仪（Gyro），加速传感器、距离传感器、气压计、磁力感应器等多种类的传感器，并且精度和种类越来越多，随着多传感器的信息融合，可以提供更丰富的对外界的感知能力。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

1.2 计算能力

手机搭载的CPU、GPU能力持续增强，苹果iPhoneX的A11芯片集成43亿个晶体管， 6核CPU （2大4小），3核GPU（对3D游戏、深度学习、AR进行优化），搭载神经网络引擎。高通、华为等手机均在主芯片上搭载NPU支持，可有效的加速深度学习在终端上的运行效果。

1.3 发展趋势

我们认为随着各种传感器的增加、计算能力的增强，尤其是NPU的普及，智能手机会迎来新的变革：

智能化：即手机会更加智能化。手机的发展的重点从增强人和人之间的连接（更高分辨率、更高的图片视频质量）变为对周边环境、对人和环境之间的感知，更加智能化的服务用户。现在的双目相机计算深度信息，麦克风阵列计算用户位置，已经实现了初步的周边环境感知能力；

多样化：手机作为中心的交互方式会逐渐弱化，更自然、更多样的终端设备（例如智能音箱、智能手环、VR/AR设备等）会承接手机的部分功能，从而逐渐减弱手机作为核心交互设备的重要性。目前Amazon/Google/Apple大力投入的智能音箱，就是希望音箱能成为用户在家庭中的一个更自然的交互入口。虽然未来是否能成功有待探索，仍然是一个有益的尝试；

2、多媒体客户端基础

随着支付宝业务需求，从2015年初开始多媒体技术部启动语音、图片、小视频等富媒体通信相关工作。目前在音频视频前端处理领域形成了完整的技术能力，支撑支付宝内各业务场景，为用户提供极致的音视频体验。

原文链接