本文来自微信公众号IT时报(ID:vittimes),作者:李丹琦、郝俊慧
“我的命,我自己操盘”,这是《窃听风云2》中的经典台词,但现实生活中,我们可能连自己手机的麦克风都操盘不了。
你遇到过这样的情况吗?刚说了想吃什么,手机里就蹦出了它的推荐;刚说了要买什么,就出现了广告。
可是,手机怎么知道你刚刚说了什么呢?一位读者2018年11月的投诉引起了《IT时报》的注意,他怀疑外卖App在“偷听”自己说话。
随后,《IT时报》耗时3个多月的时间,通过模拟用户使用场景,对安卓手机、苹果手机、苹果平板电脑上的饿了么和美团外卖进行多轮测试。
从测试情况来看,在随后数分钟到数小时的时间里,出现相关推荐的概率高达60%-70%。这个结果,有些惊人。
对此,饿了么和美团回应:不存在“偷听”!
3月14日晚,《IT时报》更新了最新iOS版美团外卖、饿了么,它们都不再索取麦克风权限,不过安卓版里的录音权限依然存在。
网友遭遇:饿了么在“偷听”我吗?
2018年11月中旬,上海的孙女士在和同事闲聊时提到想喝CoCo奶茶,在打开饿了么App时,在推荐商家首位看见了CoCo奶茶。让孙女士疑惑的是,自己之前从未在饿了么买过CoCo奶茶,在她手机后台,同时打开了淘宝、微信、知乎、微博等多个App,“此前也没有使用任何手机App搜索过CoCo奶茶的相关信息。”
无独有偶,北京一位网友燃玉(化名)在2018年11月14日晚上8点左右,跟朋友说想吃鳗鱼饭,1分钟后打开支付宝上的饿了么应用,推荐位顶部恰巧显示着一家鳗鱼饭的外卖店,此时距离他上次下单鳗鱼饭相隔23天。
为了再次验证这一现象是否纯属巧合,次日中午,燃玉自行对着手机进行了一轮测试。在没有打开应用的情况下,他大声说想吃披萨,随后才打开了支付宝里的饿了么应用,在推荐位首页中出现了一家披萨店,“这家店的披萨我曾经点过,但也应该是半个月前。”
燃玉使用的手机型号是小米MIX2,系统版本为MIUI9.6,在他的手机上,包括支付宝在内的大多数应用都有录音权限,且这一权限在安装时就已经默认启用。“连续两次都遇到了同样的情况,难道是支付宝或者饿了么在偷听我说话?”燃玉猜测。
12月15日,燃玉将自己遇到的情况第一时间发布在了微博中。根据微博后的154条评论来看,与燃玉有类似经历怀疑App“偷听”的人数占六分之一。
《IT时报》实测
孙女士和燃玉到底是杞人忧天还是确有其事?从2018年11月到2019年3月,《IT时报》用了3个多月的时间,通过模拟用户使用场景,对安卓手机、苹果手机、苹果平板电脑上的饿了么和美团外卖进行了多轮测试。
第一次测试:饿了么准确度80%
2018年11月19日,《IT时报》以两款苹果手机为测试工具进行了测试。首先,打开饿了么App和美团外卖App,确认前三屏推荐商家,然后关掉屏幕(两款App应仍在后台运行),随后以聊天的形式提到,中午要吃日式料理(为了保证测试公平,选了一类从未点过或搜索过的饭食)。
两分钟之后,再次进入饿了么,首屏第二推荐位出现一家“**屋日式料理”。蹊跷的是,两分钟后,再次打开页面,这家店又神奇地消失了,而原先第一位和第三位的商家却都没有变。
这是巧合吗?关掉屏幕后,《IT时报》继续聊着日本料理,6分钟后再次打开饿了么,这家神奇的“日式料理店”又出现了,只是这次位置下降到了第七位。再次关掉,两分钟后再次打开,同样的事情发生了,这家店又消失了,而其他推荐商家基本保持没变。
紧接着,《IT时报》又以港式料理、茶餐厅为主题开始聊天。同样的现象再次出现,10分钟后,一家“××广东肠粉”和一家知名港式连锁店出现在首屏推荐位,两分钟后,这两家店又“神秘消失”了。
在大概1个多小时的时间里进行了多次测试,饿了么出现同类现象的概率大概在80%左右,准确度非常高,其中一家被精准提到的门店,虽然在第一天没有出现,却在第二天出现在“品质优选”频道。美团外卖则基本没出现类似情况。
测试中也发现,饿了么和美团外卖并没有被苹果手机授权打开麦克风,但同一体系内的天猫、微信的麦克风都在开启状态。
第二天,《IT时报》将天猫、微信的麦克风权限都取消,再次进行测试,相关情况没有出现。
多轮测试后,饿了么下降、美团上升
为了获得更准确的测试结果,在接下来的3个月中,在不同场景、不同时间段进行了数十次测试,并将测试设备扩展到iPhone、安卓手机和iPad。
以3月9日11:57开启的一轮测试为例,在以“我想点一个凉皮”为关键词重复多次之后,一家名为“凉皮先生”的店铺出现在了苹果手机美团外卖App首页推荐商家的第20位,但同样在刷新之后,这家“凉皮先生”外卖店消失不见了。《IT时报》当即拨打这家凉皮先生店铺的电话,对方表示,当天的确在美团外卖上开启了店铺推广,但并没有刻意刷新曝光率。
你的美团、饿了么是不是真的在“偷听”?
此前,《IT时报》曾以“今夜烧烤小龙虾”“黄焖鸡米饭”“塔哈尔新疆菜”和“元宝饺子”作为关键词,分别在2018年12月20日、12月29日、12月30日以及2019年1月3日对苹果和安卓版的美团外卖App进行了相同测试,以上四次测试中均出现了与关键词一致的结果。
综合所有测试结果,精准推荐和同类推荐出现的概率超过70%。但不同的是,第一次测试同类情况比较多见的饿了么,在今年1月1日以后,此类现象基本消失。但原本情况并不明显的美团外卖,态势却有上升之势。
饿了么、美团回应:不存在“偷听”
到底这种推荐店铺的出现,是什么原因呢?
饿了么相关人士表示,所谓“监听用户日常对话并做信息分析”,是一种无端猜测,饿了么既没有做类似的产品设置,也不具备相关技术条件,饿了么严格保护用户隐私,任何必要的信息采集都会在取得用户事先同意的前提下进行,在合法合规的范围内使用。
美团人士则回应称,有关“根据麦克风收录的语音关键词为点外卖的用户做推荐”的行为并不存在,美团外卖只会在获得用户语音使用授权,且用户主动发起美团外卖App内的语音输入行为时,才会使用麦克风。此外,美团外卖仅会在用户表达了明确需求信息、进行主动查询后,才会进行相关推荐输出。
专家测试:没使用时有数据上传,无法确定是什么信息
那么,到底是巧合,还是确实这些外卖App在使用麦克风“偷听”用户?
3月13日,《IT时报》来到上海软件测评中心对两款App进行数据包的抓取测试。
在数据抓取过程中,由于饿了么App使用了开发者设定的证书绑定技术,导致非开发人员无法使用Charles等抓包工具抓取饿了么App的数据包。但从美团外卖App的抓包结果来看,在测试的一段时间内,抓包工具中抓取到了近400个与美团外卖相关且大小不一的数据包。这其中也包含在安静的环境中美团外卖App产生的少量数据包。
“我们抓的这些包,就是打开App操作时,手机和服务器之间通信的各种数据,”上海软件测评中心技术人员表示,如果App偷听的情况真实存在,那么就隐藏在这些数据包中。但难点在于如何在大量数据中分辨出哪些是客户端与App之间正常的请求数据、哪些是App用于收集用户语音信息的数据。
该技术人员还表示,即便是分辨出了数据包的信息,也不排除软件开发者在数据包内用内部的加密方式对语音数据进行二次加密的可能。
由于分辨数据包需要花费大量的时间,所以短期内无法获得对数据包进行分析后的结果。
美团对此表示,美团外卖App在退出切换过程中,有可能在后台同步App性能数据(如系统稳定性数据、图片加载成功率等),以便完善提升用户体验,同步内容不涉及任何用户个人信息。
是否“偷听” 业内观点不一
此外,在获得了麦克风权限的前提下,一款App可以通过另一款App获得信息吗?国内知名白帽子公司KEEN GeekPwn实验室宋宇昊认为,目前这一技术已经完全成熟,且有一条共享资源的传输链路。
“如果某App具有麦克风的访问权限,理论上,此款聊天App可以监听周围环境的声音。在此过程中,聊天App可以将语音输入的代码嵌在其App内部,用于将人类的语言转换成文字,并上传到服务端。服务端将这些文本进行处理后,与对应的用户进行绑定。如果说两个App之间有业务的合作,那么他们将可以共享这项资源,”宋宇昊表示,“按现在的网速和机器性能,这波操作可以认为是实时完成的。”
然而,尽管这一情形在技术上可以实现,但宋宇昊认为,这并不代表相关App已经进行了这样的操作。
腾讯手机管家安全专家杨启波对此表示也认同,“有麦克风权限,不一定就会偷听用户说话。”杨启波表示,尽管麦克风“偷听”还很难确定,但出现如此巧合,极有可能是App在利用其他渠道获取的大数据进行测算,“比如根据你当前所处的位置、经常光顾的餐厅、之前的搜索习惯等等数据来预测你的潜在需求。
现在的大数据智能推荐平台已经可以通过多方面来运算,比如某些短视频App,可能会根据你1~2个小时候刷新短视频的习惯、 停留时长……来推断你的兴趣范围等。”
另一家数据公司负责人则表示,外卖App 推送相关的店铺有两方面可能,一是推荐系统的冷启动机制,即虽然用户没有在App上搜索或者点击过,但推荐系统会根据用户所在的区域、年龄层次、时间段等大范围数据来做推荐,但也不排除确实有些App会利用麦克风权限对订餐、店铺等语音信息进行获取。
指掌易科技相关技术负责人觉得出现类似情况纯属巧合,“在国内监管日趋严格、对个人信息安全保护重视程度日益加强的背景下,无论从业务本身还是法律范畴来看,监听用户对话并不是一个明智的选择,这么做只会给企业经营带来非常大的风险,得不偿失。所以基本可以排除某个App自动监听的可能。”
《IT时报》手记:没有答案的“巧合”
经过3个多月的测试,对于外卖App是否在“偷听”用户说话,答案依然是未知的。
如果说是“巧合”,那么巧合的次数未免太多了些。为了避免出现因搜索、输入等非语音方式造成数据被读取,后期测试的App都是重新安装过的,甚至对某些设备做了刷机处理,而选择测试的,也都是此前从来没有点过,也没有在手机中留下痕迹的菜系。因此,很难解释为什么会在测试中突然出现相关店铺,而更难解释的是,再度刷新后,其他店铺依然没变,只有这家店铺消失了。
但如果不是“巧合”,从现有的技术测试和业内人士的回应来看,似乎通过麦克风“偷听”是一件吃力不讨好的事,企业不太可能做。
可是,有“被偷听”疑问的并非只有孙女士和燃玉,涉及的App也不只是外卖。
在社交网站上搜索“App偷听”的关键字,类似案例不胜枚举。比如,知乎网友“米可”和朋友聊到单位的富贵竹花瓶,当天晚些时候便在淘宝上看到了富贵竹相关的店铺推广;知乎网友“不想起床”在睡觉之前给宝宝讲古埃及文明,隔天便在淘宝上收到了金字塔摆件和木乃伊摆件的推送;还有人表示跟家人对话说要去超市买牙线,晚上打开京东,在推荐里就看到了牙线的推荐等等……身边的同事也有过刚和家人聊了银行贷款,接着就在今日头条上看到网贷平台和银行消费贷广告的情况。
然而,无论觉得如何不对劲,这些巧合都没有答案。
但另一个巧合是,今年1月开始,陆陆续续有大量App更改了自己的隐私政策,随着国内《网络安全法》收紧,欧盟《通用数据保护条例》(简称GDPR)给谷歌等互联网巨头开出罚单,对于用户的个人信息获取、App权限的索取,中国的互联网公司们明显变得谨慎许多。也正是今年1月之后,饿了么上再没有同类现象在测试中被发现。
各种IT书籍书目及下载链接
https://blog.csdn.net/dh1027/article/details/89327978