星巴克AR技术小窥

Starbucks Roastery智慧门店AR项目是阿里巴巴和星巴克合作的一个重大的新零售探索项目。Starbucks Roastery店是星巴克在上海开设的一家两万平方米的大型咖啡文化休闲中心，经过双方地不懈努力，在店内利用AI、AR等技术实现了在线点餐、店内探索等功能。A.I. Labs 六次元团队提供了核心的算法引擎。

2017年12月5日星巴克开业剪彩时，阿里巴巴集团董事局主席马云，星巴克总裁霍华德·舒尔茨亲自体验了A.I. Labs AR 技术，赞扬了通过AR这种新互动形式打造技术与文化结合的好想法。可以说，AR技术成功地连接了线上与线下应用场景，实现了人、场和物的感知和互动，达到了技术整合对外赋能的目的，有效支撑了阿里巴巴新零售战略。

AI、AR这些新兴技术应用于原有大型的新零售领域，无论技术还是业务上都是大胆的尝试和突破。A.I. Labs自研了多种数据采集、标注、筛选、增强和评估工具，建立了从场景采集、标注、训练、预测和测试的一整套完整的图像识别平台，灵活地与第三方素材管理系统对接。其中利用自动化标注工具已申请国家发明专利，大大节省和加快了数据标注的流程，为后续推广类似星巴克这样的商业模式打下了坚实的基础。

星巴克场景大，识别种类多，光线环境复杂，例如大铜罐2米多高，识别角度近360度；冰粹（Cold brew）管和法压壶等器皿是透明的；虹吸管（Siphon）点火后不同的颜色变化，为此我们创造了多种增强方式来扩展训练数据样本提升识别准确率。由于采用深度学习方案，在识别数量增多的情况下，不会带来在线计算量的巨大变化，我们进行了MKL、XLA和JIT编译优化，减少RT时间，保证识别速度。离线训练时间会有所增加，GPU分布式训练策略会削弱带来的影响。环境变化对识别影响很大，我们通过多种对原始数据我们进行了旋转、尺度、对比度和颜色变换等多种手段进行数据预处理，提高识别的鲁棒性。在物体观察角度多和光线变化复杂的情况下，准确率在误识率为0.02%情况下达到97.3%以上，大铜罐的识别准确率达到98%以上。

A.I. Labs AR采用了端云结合的策略，终端算法执行速度快、模型轻、引擎小；云端算法高准确性，与客户端算法深度融合，结合高速传输策略，不仅提升了识别速度，而且保证了如此般柔滑的用户体验。为扶持生态，阿里方面表示，准备免费提供手机客户端采集工具以及自动化训练和精准识别服务，让这种创新的商业模式可复制，使得更多的商家和用户能够参与到AR平台的建设中。