嵌入式创业项目纪实：无人智能便利店

嵌入式创业项目纪实：无人智能便利店

无人便利店是一种完全自动化的小型商店，没有店员，顾客通过手机app扫描商品的二维码选购商品，并通过该应用程序支付购买费用。这些店铺通常位于人流密集的地方，为忙碌的人们提供便捷的购物选择。

参考书籍《振南技术干货集：单片机–基础·进阶·创业·十年》作者：于振南

以下内容来自于振南老师的书籍，有学习需求的可以登录官网进行学习，》》》 振南技术干货集 《《《

2018 年我从一次会议上认识了 ABC 集团(以下简称 ABC) 的硬件业务主体 COO(首席运营官)YY。 唉? 2018 年你不是还在做充电柜吗? 是的, 在融资无望的关头, 我开始选择向高端职位跳槽。 YY 在听了我的充电柜创业经历后, 非常看好这个项目, 同时对我的技术能力和创业激情表示赞赏。 然后 YY 给你投钱了? 没有。 虽然他看好充电柜这个项目, 但是这与ABC 集团的发展方向不符(ABC 集团是做连锁便利店的), 所以他并没有考虑这个项目。 但是他们正在做无人便利店, 希望我能加入, 在考虑了几天之后, 我答应了。 从此我也开始真正意义上开始带团队, 奠定了后面的硬件 VP 的基础。

1. ABC 背景往事

1.1 入局新零售

ABC 的创立: 某大型互联网公司的创始人 XX 从 CEO 的位置上卸任, 带着100 亿美元另立门户, 也就是 ABC。 他的目的是超越诸如7 11 、 全时等传统便利店。 他认为复杂琐碎的便利店业务仅靠人脑是无法做出高水平的决策的, 而这些用计算机和互联网则非常适合。 通过高度优化的统筹和算法, 可以让很多事情都按照最优化的方案来进行。 而且这无形之中减少了人工成本。 这就是 XX 所构想的以科技为基础的商业帝国。

1.2 新兴冲浪者

2016~2018 年共享经济的浪潮扑面而来, 汹涌澎湃。 ABC 也成为浪潮之中的冲浪者。它不用担心资金的问题, 有大把的筹码去试错。 它成立了子公司专门来做共享类产品, 涉及的面非常广, 有共享晴雨伞、 共享单车、 共享充电宝、 共享打印机等。

2017 年阿里在杭州率先推出了无人智能便利店, 随后同类的品牌丛立而起, 比如 BingoBox(缤果盒子)、 在楼下、 云拿科技等。 ABC 作为便利店的新进选手, 而且还有专门的硬件子公司, 当然要在无人便利店这个档口摆它一刀了。 于是名为“小小幸福”的无人智能便利店开始在北京开张营业。

无人店理念和意义深远。 在无人店验证成功的一些技术, 开始出现在门店之中, 比如无人收银、无人盘点、商品图像识别等。 这进一步降低了门店的人力成本, 一店一人, 甚至多店一人成为可能。

“唉? 振南, 我对商品的图像识别挺感兴趣, 能详细讲讲吗?”别急, 本章将用很大的篇幅来讲解无人店里的这些解决方案和技术。

1.3 创业黑历史

ABC 在共享经济之前, 其实就已经开始入局无人售货了, 那就是它的 X 小柜, 即无人货柜。 这种东西可以很好地与便利店形成互补, 便利店部署不到的地方, 无人货柜却可以, 比如公司内部、 娱乐场所、 公园广场等。 不要小看无人货柜, 它里面包含着很多的技术。

ABC 在 X 小柜初期, 并没有想往它上面投入太多的研发资源。 因为这毕竟是重资产的项图10.1 无人货柜目, 控制 X 小柜的成本是最重要的。 它把太多的希望寄托在用户的自觉和道德约束上,心存侥幸地认为: 人们会拿货付款, 这是最基本的品质。 于是, 向市场投放了100 万台 X小柜。

在迅速占领市场的同时, 它对人性的高估也最终让他付出了惨重的代价, 投放首月的盗损率高于50% 。 第一期的 X 小柜以失败和召回告终, 如图10.1 所示。( 无人货柜与自助售货机还是有本质区别的, 前者能够贩卖的产品种类更丰富, 而且不采用掉落方式出货, 而是扫码开门自取方式。)

知道了这段历史之后, 我明白了: 创业面前人人都一样, 该犯的错误都会犯, 没有人能在一开始规划好一切, 计划没有变化快。 不同在于, 有更多筹码的人, 有更多的试错机会, 他们可以大不了从头再来。

2. 初代无人店

进入 ABC 之后, 无人店这方面几乎是从零开始。 准确点说, 只有一些设计创意和草图。无人店应该叫“集装箱式无人便利店”, 它的基本形式或载体是经过改造的集装箱, 如图10.2所示。

初代无人店相对比较朴素, 很多方面考虑都不甚完善。 难点主要有两个, 这也是一直贯穿始终的难点, 同时也是无人便利店这个行业共同的难点:

• 无人收银(主要是商品识别和结算);

• 防盗损(商品非法出店和店内人员行为分析)。

初代的无人收银台在商品识别和结算方面借鉴了 X 小柜后期的升级方案。 这里有必要先介绍一下 X 小柜是如何实现商品识别的。

1. 基于 RFID 的商品识别

你可能使用过无人货柜, 如果你留意过商品外包装的话, 就会发现一个类似贴纸的东西(RFID 标签), 如图10.3 所示。

而且 RFID 标签一般都贴在商品靠顶端的位置上, 这是为什么? 通过图10.4 大家就明白了。

X 小柜中的层板下方其实是 RFID 读/写器的天线, 通过它可以读取这一层的 RFID 标签, 如图10.5 所示。 它不会穿透这一层, 读到下一层吗? 一般不会。 一方面 RFID 天线的功率是经过调节的, 使其不会太大; 另一方面层板有屏蔽。 而且就算读到了其他层的标签, 问题也不大, 可以通过软件处理。

2. 基于 RFID 的无人收银台

基于 RFID 的无人收银台, 如图10.6 所示。

无人收银台的商品放置区是一个“方坑”, 在它的5 个面上装有8 个 RFID 天线( 一个读/写器是可以带多个天线的, 如图10.7 所示)。 顾客在结算时, 将贴有 RFID 标签的商品放到“方坑”之中, 收银台的屏幕上就会显示出相应的商品列表, 然后通过二维码, 即可完成扫码付款。

这样看来, 顾客体验似乎不错, 基本上是无感支付。 看似不错, 但实际上有很多的问题, 有些甚至是致命的。

3. RFID 的弊端

我对 RFID 的优缺点进行了深入的分析( 深入分析的目的其实是为了说服 ABC 采用比RFID 更先进的方案)。

缺点:

1. 受金属影响大(由于金属的静电屏蔽效应, 对射频信号造成了衰减) ;
2. 受液体影响大(由于液体对高频电磁波的吸收效应) ;
3. 受商品标签摆放位置影响较大,“方坑”存在信号死区;
4. 识别率与标签在商品包装上粘贴的位置有很大关系, 尤其是含液体的商品或有金属包装的商品 ;
5. 标签批次质量差异性不可靠, 有一定标签故障率(死签率) ;
6. 受商品表面材质与温湿度影响较大, 标签易脱落 ;
7. RFID 标签本身成本较高(一亿片单片价格也要到3 毛钱左右);
8. 打签、 贴签以及商品与 RFID 对应关系的维护需要大量人工成本 。

优点就是用户进行商品结算时的人工介入度低, 体验比较好。

这些弊端并不是理论上存在的, 也不是小概率事情, 而是真真切切经常发生在顾客结算过程中的。(无人店运营初期, 我们专门雇了一个人在店里为顾客解决各种问题。 因为 RFID 标签的识别问题, 把他搞得焦头烂额。) 因为这些问题, 初期无人店的盗损率在30%~40% , 甚至更高。 我建议高层放弃 RFID, 改用更好的方案。 高层的意思是能不能在 RFID 的基础上去改进一下, 看来要上新东西, 就一定要先让高层死心。

于是, 我做了以下的改进:

1. 采用防金属标签, 成本较高, 贴签操作的规范性要求更高;
2. 采用防液体标签, 成本较高;
3. 采用3D 标签(其信号接收从平面改为多面, 感兴趣的可以研究了解一下), 改善因为摆放位置造成的信号接收问题, 成本较高;
4. 增大 RFID 发射天线功率, 带来信号发散与反射问题, 造成附近商品误读;
5. 对 RFID 标签质量进行逐一测试, 增加人工成本。

并对改进后的 RFID 方案进行了测试:

1. 无液体无金属商品, 规则摆放, 识别率95%以上;
2. 液体商品, 标签可见, 识别率70%以上;
3. 液体商品, 标签压于下方, 识别率20%左右或更低;
4. 金属包装, 标签贴于包装外缘, 伸出, 识别率90%以上;
5. 金属包装, 标签贴于包装体表, 不露出, 识别率20%或更低;
6. 多标签重叠, 无金属无液体, 识别率80%以上;
7. 多标签重叠, 有金属或液体商品, 压于上方或覆盖, 识别率30%或更低(甚至重叠的多标签均不能读出)。

改进后的效果很显然不尽如人意, 而且成本更高。 此时, 一个质疑就凸显出来了: 为什么X 小柜上使用 RFID 效果很好, 而无人收银台却不行? 答案很明显, 因为 X 小柜中的商品摆放更加规则, 而且标签都贴在商品顶端, 还有就是标签的主要部分基本都是悬空的, 并没有与包装贴合。 再仔细看看, 如图10.8 所示。

相比之下, 无人收银台中的商品标签就五花八门了, 如图10.9 所示。

强行要求顾客按某种特定方式去摆放商品? 这显然不可行, 体验极差。

那能不能把 RFID 天线的功率开得大一些? 这样带来的问题更大。 因为电磁波遇到金属是会反射的。 集装箱整体都是钢结构, 墙面是彩钢瓦, 墙内壁是保温石棉, 如图10.10 所示。

而且店里的SKU(最小存货单位, 在新零售中一般是指商品品类) 非常多, 摆货也很密集,如图10.11 所示。

可想而知,RFID 信号如果非常强, 就会在店里来回反射, 最终的结果就是在顾客结算的时候商品列表上会显示出很多多余的商品。 比如购买一个口香糖, 结果结算显示好几千块钱。这对于顾客体验是致命性的, 会觉得 ABC 非常不靠谱。 最终的结果就是坏事传千里, 导致整个无人店项目失败。 这种多扫比漏扫的后果要严重得多。

我们确实在 RFID 发射功率这方面下过功夫, 希望功率足以覆盖到“方坑”中的所有商品,同时又不至于殃及其他周边的商品。 我们在墙壁上贴了吸波材料, 试图防止反射。 但是最终的效果也不理想。

4. 基于 RFID 的安全门

安全门的目的是为了解决第二个问题: 防盗损。 说白了, 就是为了防止某些顾客偷盗店里的商品, 或者是无意间带走未经结账的商品(比如收银台漏扫等)。 安全门实际上是一个出入便利店的走廊, 顾客进来的时候不会检查, 而出去的时候就会检查其身上是否有夹带商品。 这个走廊如图10.12 所示。

(1) 如何判断进门还是出门?

这个问题比较好解决, 如图10.13 所示。通过判断两个红外接收头被遮挡的顺序, 就可以知道顾客是进还是出了。 其实这种应用很多被用于人流量检测, 比如地铁口、 车站、 超市等。

(2) 如何检测顾客身上有未结算的商品?

我们在走廊的内壁中安装了多个 RFID 天线, 如图10.14 所示。 当顾客拎着商品从安全走廊走过时,就会对标签进行识别。 那些在收银台上结算过的商品的 RFID, 会被标识为已支付, 而如果识别到未结算商品的 RFID, 则会语音提示“有未结算商品, 请重新结算或放回货架”。

当然,RFID 的诸多缺陷同样殃及到了安全门。

金属包装、 水等类的商品, 依然会被安全门无视。最严重的还不是这个, 而是有些标签识别不稳定, 在收银台上未被识别( 可能是因为商品相互遮挡等原因),但是到了安全门这里却被识别出来了, 这样就会导致顾客无法出门, 莫名其妙地被锁在店里。 所以针对这种情况, 我们后来还在店里加装了一键呼救。 这样一来, 无人店简直成了锁人的魔窟, 谁还敢来?

3. 第二代无人店

RFID 在无人店中的使用被彻底否决。 继而我带领团队开始投入新方案的研发, 当然核心还是为了解决那两个问题: 无人收银和防盗损。

“我觉得你们有一点闭门造车的意思, 应该投起头来, 看看行业内的同类产品是怎么解决这两个问题的!”没错, 是该抬头看看的时候了, 以免从一个坑跳到另一个坑里。 于是我们参加了2018 年的上海无人零售展。

3.1 上海无人零售展大赏

我们花了两天的时间来参观整个无人零售展, 振南把一些主要的见闻给大家分享一下。

1. 总体介绍

上海的无人零售展每年都会举办, 我参加的那一年是在新国际博览中心。 展会上会涉及无人值守零售终端与相关的技术及产品。(其实这个展会就是行业内各大厂商推广营销的平台, 所以他们一定会把最好的东西展现出来, 甚至是下一代的概念化的东西。)

(1) 无人值守零售终端

① 无人零售店/便利店、 无人娱乐与休闲服务(迷你 KTV、 电影院、 健身房、 球房等)、 无人餐饮厅、 无人加油站、 自助洗衣及相关无人便民服务等;

② 智能售货机(饮料机、 综合机、 便利柜、 咖啡机、 售饭机、 自助派发机等);

③ 开放货架及办公室零售服务等。

(2) 无人值守零售技术及产品

① 视觉图像识别技术, 生物识别技术, 目标跟踪技术及相关的 AI 技术, 结算意图识别和交易系统, 电子标签、 射频识别(RFID) 技术, 自助检测与跟踪系统、 商品信息采集技术, 二维码、 条形码技术, 视频安防解决方案等。

② 数字化门店、 智能货架、 智能柜、 智能购物车、 智能包装、 服务机器人、 商品快速装袋设施、 出入口设备、 集装箱盒子等;

③ 智能收银、 自动结算及相关货币解决方案, 相关打印技术及耗材;

④ 大数据分析、 消费者形象刻画、IOT( 物联网)、 区块链、 语音助理、 客户感知技术、 商品感知、 客流分析等。

2. 掠影与介绍

无人零售展涉及的内容非常多, 但是我们主要关注的还是无人便利店。 所以, 振南仅对无人店进行介绍。

我们所看到的无人店主要有两种形式: 无人货柜集成式和集装箱式。

前者简单地对自助贩卖机或无人货柜进行堆拼, 美其名曰“无人便利店”, 混淆视听, 如图10.15 所示。

集装箱式: 在箱体结构和外观上各家基本是一样的, 不同点在于: 商品识别、 无人收银以及防盗等方面的技术实现。 这也是最大的难点和瓶颈! 让我们来看看各家的无人店是怎么样的。(以下品牌在振南落于笔下之时可能已经消亡或者退圈了, 大家不必较真, 而且以下内容仅代表振南个人观点。)

(1) 智享易站( 见图10.16)

我们听了享易站 CEO 的现场宣讲, 其中有一句:“新零售不只是一个风口, 更是一个时代。”我记忆深刻。 他还重调了他们的使命是:“以全渠道和泛零售形态更好地满足消费者购物、 娱乐、 社交多维一体需求的综合零售业态!”我想这也应该是我们的使命。

后来他又提出了“人—货—场”的概念:

① 零售通路的效率提升, 即 AI、 数据、 供应链、 物流的重构与组合应用;

② 新零售的实践在新模式为主、 新技术为辅的双重驱动下, 对“人- 货- 场”三要素关系的重塑, 而其中最重要的是对于连接人与货的“场”, 即零售消费场景的重新定义和探索;

③ 关注“创”和“体验”使得千店千面店铺购买千店一面。

我知道, 很多人参加展会的时候并不会仔细关注这些宣讲性的、 文字性的东西, 但是当你仔细聆听并深入思考之后, 你可能会产生认同感并重新认识它。

逛店体验, 如图10.17 所示。

智享易站采用手机扫码或者直接扫脸开门的方式。(这一点我们已经实现了, 来看看我们的, 如图10.18 所示。)

店内的商品布局和陈列没什么不同(所有集装箱店内布局都差不多)。 我比较关注的是它的商品识别和结算方式, 如图10.19 所示。

它的“方坑”变成了货箱, 而商品识别采用纯图像识别方式来实现, 摄像头在货箱上方, 采用单摄像头。

在结算支付上它比较有特色, 除了微信支付, 还支持刷眼支付( 虹膜识别), 如图 10.20所示。

智享易站确实非常有新意, 但是实际商品识别准确率如何就不知道了。 还有就是它的出门审核(安全门) 是如何实现的没有体会到。(似乎出门的时候没有这个环节, 那盗损岂不是比较高? 也许它有更高明的方案。)

还有一点是很值得学习的, 可以说它是解决无人店第二个难题的另一种思路(但它也只是一种思路, 实际上并不可行), 如图10.21 所示。

无人店, 或者是无人货柜, 甚至说所有无人值守模式下的产品, 其实都是与人性在打擦边球。 所有缜密的防护措施都是建立在人心向善的基础上的。 如果人可以突道德下限, 那一切技术都是徒劳的。

这样的行为有以下几种, 只有你想不到, 没有他做不到:

① 店内直接偷吃;

② 顾客里应外合(一个人在店内拿商品, 另一个人在店外扫码开门, 然后将商品扔出去);

③ 顾客将商品放进金属盒子( 因为金属盒子对于电磁波来说就是黑洞);

④ 无人货柜扫码开门后拿出商品, 然后将RFID 标签留下;

⑤ 在核验区(安全走廊) 直接趴下;

……

当然, 其实并没有真正意义上的无人店, 店是有监控的, 任何顾客的不法行为, 最终都会被记录到, 进而追查报警, 继而付出代价。

(2) 缤果盒子(BingoBox)

缤果盒子可能是所有同类品牌中最有名的一个, 它的知名度非常高, 它也是一直做到现在, 没有退出的少数几个品牌之一(这里算是一个伏笔, 大家懂的)。

来看一下缤果盒子, 如图10.22~10.23 所示。

依然是扫码开门, 直接来看它的无人收银和防盗损, 如图10.24 所示。

缤果盒子也是采用货箱内图像识别方式来实现商品识别, 而且它是双摄像头。 我们考虑这主要是为了解决商品堆叠遮挡的问题。 看来图像识别是现在商品识别方面比较主流的方案了。

在防盗方面, 它也有安全走廊, 人走到这里需要驻足等待检查。 它可以检测出未结算的商品, 即使是把商品放进包里。 它可能用的是 RFID 标签或者其他标签, 比如 AM( 后面对 AM会进行详细介绍), 但是我们并没有在它商品包装上看到贴有标签。 我们询问了工作人员, 但是没有得到有价值的答复。 所以, 最终我们还是没有搞明白它的原理(大家可以研究一下), 如图10.26 所示。

它在安全走廊的侧壁上配有一个显示屏和摄像头。 对于没有购物的顾客可以直接扫脸出门。 这说明缤果盒子有强大的店内人脸追踪机制, 它知道哪些人购买了商品, 而哪些人没有购买。

另外值得关注的是它的收银台的整体设计, 如图10.27 所示。

可以看到, 收银中上方有一个大屏, 播放缤果盒子的宣传视频以及逛店指南。 在下面有几排小货架摆放一些小商品。 这些是我们可以借鉴的。

“我还是对商品识别比较好奇, 它到底效果怎么样呢?” 那我们来测评一下, 如图 10.28所示。

水和瓜子识别没问题, 我放入了一张宣传册, 结果识别成了“丝袜”。 图像识别是无人店商品识别的主流方案和发展趋势, 但是仍然有技术瓶颈。 问题主要集中在: 商品识别率与商品遮挡。

(3) 苏 猫

我们来看一下苏猫无人店( 它的业务流程比较烦琐, 给人的体验并不太好), 如图10.29所示。

扫码开门, 进门 之 后 首 先 进 入 一 个 感 应 区, 等 待 里 面 一 道 门 打 开, 推 门 进 入 店 内, 如图10.30 所示。 这样的设计我们考虑:

① 检测顾客自带的第三方 RFID 标签, 最终可能导致不能出店;

② 检测人体, 防止店里顾客从此门出去(也就是说它还有一个专门用于出店的门)。

这就是我说它有点烦琐的原因。 再来看看它的无人收银方案, 如图10.31 所示。

这采用了 RFID 标签。 好吧, 毫无新意。 再来看看它的防盗损设计, 如图10.32 所示。

从出口出来, 先进入 RFID 检测区, 通过后, 再推一道门出来。 总共算下来, 它有五道门:两道进门、 两道出门、 一道紧急出口。 流程如此冗长, 跟走迷宫一样。 不过一家无人店, 倒是可以救活一个门窗厂。(以上文字仅代表振南个人观点。)

(4) 云拿无人店

云拿科技(CloudPick) 的无人便利店是众多品牌中体验最好的, 甚至可以说是优雅。 云拿科技本身做 AI 的, 在这种技术加持之下, 它的无人店实现了全程无感。 从进门到选购商品、从支付到出门, 整个过程全部采用摄像头图像识别。 你所要做的就是进门拿东西走人。 它的口号是“以无感支付重塑线下购物体验”, 它也确实做到了。

我用云拿科技官网的一些资料来进行介绍, 如图10.33~10.35 所示。

无须排队等候人工收银, 无须扫描条码自助结算,AI 摄像头识别, 出店直接付款。

进店即会员,100%会员率; 结合顾客全生命周期管理, 进行个性化、 智能化营销; 线上线下融合, 实现全渠道销售。

无人收银, 无人值守, 轻松实现24 小时营业; 实时库存, 根据销售情况自动下单订货、 发送补货提醒。

当然, 要 实 现 这 种 全 程 机 器 视 觉 方案, 一定需要比 较 多 的 摄 像 头。 我 们 看向它的天花板, 几 乎 布 满 了 摄 像 头。 还有就是 要 实 现 这 么 多 路 的 实 时 图 像 识别, 也一定需要极为强大的计算能力。

以下是云拿创始人 Alex Ng 的 话: “云拿的技术让我们的顾客再也不用排队结算, 同时让门店轻松实现了24 小时运营, 再也不需要员工长时间工作或者

加班。”

这应该就是无人便利店的最终形态了。

3.2 我们的新方案

总结一下我们从展会都学到了什么: 基于图像的商品识别、 称重和 AM。

ABC 的技术涉足还是非常广的, 毕竟老板的设想是用机器来实现便利店的无人化、 最优化管理。 有一个研发小组是专门做 AI 的, 称为 AI 组。 所以我们在自己的无人店里实现图像识别是有基础的。 随即, 我找到 AI 小组的 Leader 跟他说了我的想法, 他也觉得可行, 可以试试。 我们一同去找了 YY 和 ABC 的 CTO 商量这个事情, 他们都很支持。 OK, 那就搞起来。

1. AM( 声磁技术)

AM(声磁), 可能很多人都不太了解, 但是你却在经常用它。 声磁可以简单理解为是一种防盗标签, 如图10.36 所示。

对, 图10.36 中的就是声磁标签。“左边那个我见过, 买衣服的时候需要让收银员取下来,否则出门会报警。 右边那个好像在一些牙膏、 沐浴露的包装上见过, 具体怎么用不太清楚。”这说明你很擅长观察生活, 如图10.37 所示。

声磁标签是一种磁性标签, 它的磁性可以被消磁器在一定距离内消除。 商场的出口通常都有声磁报警器, 如果识别到未消磁的标签, 则会报警, 如图10.38 所示。

“声磁”其实并不是真正的“磁”。 标签内部是一个线圈, 并且它对特定频率的电磁波敏感。当此频率的电磁波功率足够大的时候, 标签中的感生电流会将其电路回路中的保险熔断, 从而使电路失效(这就是所谓的消磁)。 而未消磁的标签在靠近声磁报警器的天线时, 报警器可以检测到电磁场的衰减(电磁能转化成了标签上的电能), 从而判断是否有未消磁的标签存在。

我们打算使用声磁来实现商品的防盗。 声磁比 RFID 到底有哪些优势, 来看以下几点:

① 消磁技术成熟, 消磁成功率可达到99%以上;

② 声磁标签每片0.05 元, 相比 RFID 标签0.5 元成本大幅降低;

③ 声磁电磁信号频率较低, 对金属和液体不敏感, 受摆放方式影响不大;

④ 声磁标签技术更成熟, 死签率低;

但是声磁标签有一个缺点, 就是它只能提供是否消磁这两个状态, 即0 或者1 。 所以它并不能标识商品, 即类似 RFID 那样给每一个商品一个唯一的ID。 但是用来作防盗却是非常适合的。

2. 新方案无人收银台

“振南, 你铺垫的太多了, 直接给我们看看你的新无人收银台长什么样?”好吧, 如图10.39 ~10.40 所示。

新的无人收银台保留了“方坑”,5 个面上把 RFID 天线换成了声磁消磁天线(现有的消磁器并不支持多分支天线, 所以我们自己造了一个)。 商品识别采用扫码+ 图像识别方式, 可以看到收银台上方有一个弯臂, 末端有一个向下的摄像头, 直拍“方坑”。 同时还增加了一个置物区, 方便顾客暂放商品。 在收银台前下方增加了小件货架。“方坑”的下底是分离的, 直接落在一个称上, 如图10.41 所示。

此时你可能会有一些疑问:“有了图像识别为什么还要扫码识别商品? 商品称重的用意又是什么? 你说声磁消磁天线是你们自己做的, 那是怎么做的呢?”OK, 就怕你不问, 问了振南才好往下写(其实都是振南自问自答, 写书从某种意义上来说是挺无聊的)。

完全依赖 AI 和图像识别是不行的, 它仍然无法解决商品遮挡和摆放姿态的问题, 而且还有一个很现实的问题: 商品的外包装可能会不定期地更换。 所以还是主要靠扫条码方式来进行商品结算, 而图像识别只是作为一个备用方案, 只参与结算后期的商品核验与取证环节。 等图像识别相对成熟的时候, 再把它作为主要方案。

称重用来对商品结算进行检验, 基本逻辑是这样的, 如图10.42 所示。

再来说一下消磁天线。 我们使用的消磁器就是商场的那种普通的消磁器, 但是它只有一个消磁天线。 为了能够保证消磁率(如果结算环节消磁失败会导致用户无法出门, 因为安全走廊我们也改造成了声磁方案)。 图10.43 是我们对消磁器的改进。

图10.43 是一个极限测试, 在“方坑”之中放入了很多瓶水, 摆放姿态各异, 然后启动消磁(其实消磁就是瞬间发生一个功率较大的特定电磁波), 来检验标签的消磁率。 即使是这种极限情况, 消磁率也是100% 。

经过一段时间的研发( 不光是硬件、 结构, 还有软件的 Android 开发、 AI 组的接口开发等), 新收银台完成了, 如图10.44 所示。

为了让消磁环节更有直观感, 我们还给“方坑”安装了氛围灯, 当顾客点击“确认订单”并且称重检验通过之后, 氛围灯就会慢闪两次, 然后屏幕提示结算完成。

3. 商品的训练与录入

(1) 商品的训练

基于 AI 的图像识别是需要数量庞大的图像样本的, 理论上讲样本越多, 识别率越高。 这意味着我们要对众多的商品进行拍照, 而且还不止一张, 而是各种姿态, 包括遮挡的情况。 如果一个个商品摆放, 一张张照片去拍摄, 几万张照片得拍到猴年马月去。

所以我们做了这个, 如图10.45 所示, 拍照神器, 加快训练的速度。

首先我们会给商品样品全部标上号码, 然后在 APP 上设置商品数量与起止号码区间。APP 会自动生成商品的排列组合以及摆放指导。 操作者只需要按指导按部就班地将商品摆放到“方坑”之中, 然后拍一个右手边的大按钮, 一张照片就生成了, 它会被 APP 实时传送到AI 服务器中, 如图10.46 所示。

所有样本拍摄完成之后, 需要人工对每张图片中的商品进行标定, 并告诉 AI 这是什么商品。 这项工作似乎没有捷径, 只能靠人工一张一张来处理。 我代表团队开始向全公司求援, 在YY 的协调之下, 我们募集到了几十个人, 花了15 天的时间, 终于对几万张照片完成了标定。

AI 组的同事基于这些样本对模型进行训练, 经过两天的努力, 最终验证商品识别达到99.8% , 而且还告诉我们商品只要遮挡不超过70% 都可以识别出来。 效果比我们预想得要好。(AI 组主要是搞算法, 它们依靠的是强大的算力, 物理基础就是由多个 GPU 构成的阵列。这个组承担了 ABC 几乎所有的 AI 任务, 多年后 ABC 实现了基于 AI 的店内无人化或少人化运营, 极大地降低了用人成本。 算法才是核心, 大家可以了解一下硬件工程师和算法工程师的薪资差距。 像特斯拉、 高德、 百度这样的公司, 都是算法人才聚集的地方。)

(2) 称重录入

称重核验也是一个问题。 每一种商品都要一一称重, 并将重量录入数据库。 当然, 我们也开发了相应的“神器”来提高录入效率。

主要的问题在于商品的重量并不是一定的, 而是会有上下浮动。 我们发现饮料的重量还是非常一致的, 但是袋装食品、 罐头等商品重量就轻重不一了。 其实也能理解, 饮料的灌装基本都是标准化流水线来完成的, 它的流量甚至可以控制到滴为单位。 所以, 我们要为每一个商品设置一个浮动范围。

起初我们想得比较细, 每种商品都有它自己的浮动范围, 比如饮料是±2% 、 薯片是±5% 。后来我们发现这种方式太麻烦了, 录入工作量比较大。 所以就采用了一刀切的办法, 一律± 10% 。 这样会引发一个新的问题: 称重核验条件太宽容。 顾客可以利用这个宽容度来夹带小件商品。 比如他买了2 瓶水, 夹带两个口香糖。

那可不可以把这个比率放窄一些, 比如±5% 。 这样有可能会使商品核验无法通过, 如果是重量容差比较大的商品。

但是很多时候, 我们明知道会有漏洞, 还是会使用这一方案, 因为我们认为大多数顾客还是善良的, 而且他不太可能对我们的逻辑那么了解。 就算他核验的时候, 夹带了商品, 收银台上面的摄像头以及店里的监控也会记录下证据。 如果性质比较恶劣的, 比如多次钻空子卡bug, 那么就会封掉他的账号, 并拒绝他再进店。

最后我们来看一下使用新方案的“小小幸福”无人便利店, 如图10.47 所示。

“感觉是不是这一章要结束了? 先等一下, 图10.46 我仔细看了一下,‘ 方块’ 底下那个圆形的条纹是干什么的?”你确实比较心细。 那个条纹是我们精心设计的, 为的是防止饮料瓶直放。 因为摄像头在正上方, 如果饮料直放的话, 就只能拍到一个顶, 无法很好地进行商品识别。

还有没有问题? 没有问题本章就到这里了。“等等, 你们使用声磁标签, 如果万一有没有消磁的, 顾客被困在店里怎么办?”这种问题应该会比较少, 但是确实有可能会发生。 比如声磁标签正好在消磁电磁场的死区。 这种情况, 顾客可以直接一键呼叫客服, 由客服远程开门。 但是这样的体验毕竟是不好的, 所以我们想到了一个办法, 即“明门”机制。 在商品正常结算完之后(只是最后的消磁出现纰漏), 这个时候收银台会启动一个30 秒的定时器, 在这段时间内, 安全走廊将一直处于无条件放行状态( 明门)。 而如果最近一个订单结算异常则不会开放这个“明门”。 这样, 即使消磁失败, 只要顾客结算是正常的( 也就是确实付了钱, 并且称重审核通过), 那么他就大概率能出店。

“这种明门的机制好吗? 如果用户利用这个机制来逃单怎么办?”还是那个问题, 我们明知道某些机制有漏洞, 但是我们还是会使用, 因为顾客的体验是最重要的。 而且, 顾客为什么会如此了解我们的内部机制? 除非他是内鬼, 并且他是核心研发组的人员。

还有问题吗? ……

OK, 最后我要感谢当年在无人便利店项目上做出贡献的人们, 张宏涛(是不是有点耳熟, 对,“冷设历险记”那一章也有他, 一直是我这里的主力选手)、 赵建鹏(做称重录入神器)、 王鑫(ABC 第一个无人店与我一同奋斗两天两宿, 直到落地的兄弟)、 王磊(做商品训练神器) 等, 包括运营团队、 供应链、AI 组, 当然还有 YY, 如图10.48 和10.49 所示。(本章所有人员姓名均为化名, 请大家切勿人肉。)

最后致敬一下, 我们的“小小幸福”无人便利店的建店落地, 那是在2018 年5 月14 日(我们的deadline 是5 月15 日完成无人店的落地, 在廊坊), 如图10.50~14.53 所示。

那些岁月, 值得纪念。 故人已辞, 我心犹在。

“振南, 你光顾着感慨了! 说说最后无人店发展怎么样?”其实前面我已经埋下伏笔, 还记得吗? 2018 年下半年, 正当我们在筹划下一代无人店的时候, 还盘算着一年能铺多少家店。这个时候,ABC 高层决策砍掉周边的重资产项目, 全力发展门店业务, 包括共享单车、 共享雨伞等, 全部下马。 ABC 的硬件业务部门自然不好过, YY 也因为某些原因离职了, 这应该是我见过的离职人员中最高级别的了。 随之, 我的团队开始并入 ABC 的门店主线业务部门, 痛定思痛之后, 开始了新的征程———冷设监测项目。

永远记住, 决策才是最重要的!

4. 文章来源

参考书籍《振南技术干货集：单片机–基础·进阶·创业·十年》作者：于振南

以上内容来自于振南老师的课程，可以扫码注册官网账号，来进行学习。还有更多的嵌入式C语言教程，以及RTOS架构双体系课程，帮助于从入门到精通FreeRTOS，另外振南老师还是znFAT嵌入式文件系统的开源贡献者，在国内有非常高的声望。通过下述| 二 | 维 | 码 即可注册网站。或通过网页链接进行学习：》》》 振南技术干货集 《《《