论文研读：Is It a Trap? A Large-scale Empirical Study And Comprehensive Assessment of Online Automated

论文信息

标题：Is It a Trap? A Large-scale Empirical Study And Comprehensive Assessment of Online Automated Privacy Policy Generators for Mobile Apps

作者：Shidong Pan, Dawen Zhang, Mark Staples, Zhenchang Xing, Jieshan Chen, Xiwei Xu, and Thong Hoang

年份：2024年

会议/期刊：USENIX Security Symposium

研究机构：CSIRO's Data61 & Australian National University

主要内容：本文对现有移动应用程序在线自动隐私策略生成器(APPG)进行了深入调研，从多个维度上仔细分析了10个常见的APPG。研究发现，尽管APPG在生成隐私政策方面提供了一定的支持，但在合规性和用户隐私保护方面仍存在不足。同时，文中进行了市场渗透率分析，结果显示，从Google Play 收集的46472个安卓应用的隐私策略中，近20.1% 的隐私策略是由现有的 APPG 生成的，表明APPG在移动应用生态系统中扮演着越来越重要的角色。

1.问题分析

对于大多数开发者而言，制定隐私政策是一个复杂的过程，因此许多人使用在线自动隐私政策生成器（APPG）为应用程序创建隐私政策。然而，多数APPG 都是基于问卷调查的形式，向程序开发⼈员询问有关应用程序的隐私问题，基于问题的回答此生成隐私政策，但是存在一定问题

1. APPG生成隐私政策的质量尚不明确：APPG生成的隐私政策在内容的准确性、完整性和可读性方面的质量仍然缺乏系统性的评估。这可能导致生成的隐私政策存在设计缺陷，无法有效保护用户隐私。
2. APPG生成隐私政策的合规性尚不明确：虽然APPG 声称生成的政策符合隐私法规，实际上并未进行充分的合规性验证。这可能导致开发者在使用这些政策时面临法律风险。

2.研究方案

1. APPG评估

为准确评估当前的 APPG，文中从google、Stack Overflow、GeeksforGeeks和 GitHub 上收集了十个流行的APPG作为分析数据集，评估其功能、特性和数据使用范围。

2.市场渗透率分析

作者从Google Play抓取移动应用程序，构建了包含了46,472 条隐私政策的数据集。之后通过指纹关键词搜索（FKS）和文档相似性比较（DSC）来判断隐私政策是否由APPG生成，进一步分析市场渗透率。

3.隐私政策分析

文中评估了APPG在具体要求、数据权利、设备权限披露和自我完整性方面的表现。

下图展示了整个研究的系统化方案。

图4.1 研究方案框架图

3.实验评估

1. APPG评估

文中研究的APPG如下图4.2所示。从是否免费、是否需要注册、使用模式三个角度概述了这10个APPG的基本情况。

图4.2 APPG基本信息

之后，从三个角度对APPG进行全面的评估。

1. 用户体验：从实际使用效果、用户友好性、便利性、是否支持定制选项以及支持服务等五个方面，评估使用APPG的总体使用感受。
2. 法律合规性：从法规遵守情况、工具声称的合规性、隐私条款覆盖等三个方面，评估生成的隐私政策是否符合主要隐私法规的要求。
3. 隐私政策的可理解性：从政策可读性、政策结构等两个方面，评估生成的隐私政策是否清晰易懂，能否有效传达隐私信息给最终用户。

最终的评估结果如图4.3所示。从用户体验方面看，大多数APPG（8/10）提供了良好的发布支持（提供网站链接或HTML文本），其他四个角度则表现不一。从法律合规性方面看，超过一半的APPG声称符合GDPR和CCPA。从隐私政策的可理解性方面看，只有排名第一的Iubenda支持生成非英语的隐私政策，其他APPG在语言本地化方面存在不足，此外，根据Flesch可读性测试评估来看，所有APPG的可读性评分在30到50之间，这表明需要至少大学水平的教育背景才能轻松阅读这些政策，可见大多数APPG的可读性较低，可能导致用户难以理解隐私条款。

图4.3 APPG评估结果

同时，文中从四个方面评估了10个APPG对数据使用范围的识别能力。结果如图4.4所示。

1. 应用程序基本信息：所有APPG均支持提供应用程序基本信息，但详细程度不同。
2. 用户个人信息：多数APPG识别了一般个人信息，仅有3个APPG（3/10）明确识别敏感个人信息。
3. 设备权限：超过一半的APPG（6/10）识别了CAMERA、CONTACTS和LOCATION权限，仅有两个APPG识别了所有权限。部分APPG可能未能正确声明传感器权限，这可能导致隐私问题。
4. 第三方服务：整体上，APPG在这些第三方服务的覆盖范围较好。

图4.4 APPG 对数据使用认可度的评估结果

2.市场渗透率分析

作者从Google Play商店（结合AndroZoo）收集了268,500个应用程序的元数据，最终筛选出99,194个应用程序，使用Google Play爬虫工具获取应用程序的隐私政策链接，并利用BeautifulSoup和Selenium Python库下载每个应用程序的隐私政策网页，最终得到了包含46,412个隐私政策的数据集。

之后，通过指纹关键词搜索（FKS，在生成的隐私政策网站的URL中嵌入公司名称）和文档相似性比较（DSC，用TF-IDF和余弦相似度来计算文档之间的相似性，如果与APPG生成的相似就判定）来检测隐私政策是否由这APPG生成。分析结果如下图4.5所示。结果显示，根据FKS方法，6.6%的隐私政策可能由APPG生成；根据DSC方法，18.1%的隐私政策可能由APPG生成。两种方法的联合结果表明，APPG在市场中的最大可能渗透率为20.1%。这表明APPG在当前移动应用市场中确实发挥了相当重要的作用。

图4.5 APPG 的市场渗透率

图4.6展示了不同APPG生成的隐私政策数量，其中从左至右分别为FKS方法、DSC方法和检测总数。结果显示，APPG #2（App Privacy Policy Generator）是市场上最受欢迎的APPG，其采用率达到72.7%。这可能与其可免费使用、复杂性低和可读性高有关。研究还发现，用户可能更倾向于选择易于使用的工具，而不是花费额外时间学习如何掌握更复杂但功能更强大的APPG。

图4.6 APPG 生成的隐私策略数量（从左至右分别为FKS方法、DSC方法和总数）

3.隐私政策分析

（1）隐私合规性评估

实际合规性分析：如图4.7所示，APPG的声明与实际合规性之间存在显著差异。由于GDPR是2018 年颁布的，多数APPG（#1、#3、#4、#7、#8、#9）能够遵循GDPR；随着时间的推移，部分APPG（#3、#4、#7、#9）在GDPR和CCPA的合规性有了明显的提升。

数据权利披露分析：文中评估了APPG生成的策略是否明确披露数据权利，结果如图4.8所示，可见APPG #2未能在生成的隐私政策中披露任何数据权利，与其自声称的合规性不符。

隐私实践披露分析：文中评估了APPG生成隐私政策的透明度，结果如图4.9所示。可见超过一半的APPG披露了数据加密和变更通知，只有APPG #8 在生成的政策文档中包含数据泄露通知。APPG#2 仅包含数据加密。

图4.7　在不同时间下APPG在GDPR、CCPA和LGPD的合规情况

图4.8　七项基本数据权的披露情况

图4.9　五种高度关注的隐私行为的披露情况

（2）权限覆盖率分析

文中引入了权限覆盖（RC）和期望覆盖（EC）这两个指标来衡量APPG在生成隐私政策中覆盖声明权限的程度：RC越高，表明开发者越依赖APPG；EC越高，表明APPG在披露权限方面设计缺陷较少。实验结果如图4.10所示。结果显示，所有APPG存在一定程度的权限披露缺失，APPG生成的隐私政策显示的权限数量普遍低于开发者声明的权限数量。这表明APPG的设计可能存在问题，未能充分满足权限披露的要求。此外，UI模式的APPG通常显示的权限覆盖较少，显示率为15.6%，而问卷模式APPG的覆盖率较高。

图4.10　权限覆盖率分析结果

（3）矛盾分析

文中利用PoliGraph对比分析了基于 APPG 的隐私政策（其中170条从市场渗透率分析中交集部分随机抽取，30条来自利用10 个 APPG 为三个合成应用程序生成的30条隐私政策）和非基于 APPG 的隐私政策（从PoliCheck的测试集中随机抽取 200 条隐私政策）这两个数据集存在的隐私矛盾。

结果显示，基于 APPG 的隐私政策中有 26 处矛盾，矛盾来源于政策文档中不同部分之间的冲突陈述。非基于 APPG 的政策中有 15 处矛盾。从某种角度看，APPG工具可能在生成政策时引入了更多的矛盾。

​​​​​​​​​​​​​​4.优缺点

优点

1. 首次对移动应用程序的自动隐私政策生成器进行大规模、详尽的实证研究。具有较好的前瞻性。
2. 对自动隐私政策生成器（APPG）进行了系统的实证分析，涵盖了数据使用的特征、特性和识别水平等各个方面。

缺点

1. 原因探讨深度不足：尽管文章指出了 APPG 工具引入更多矛盾的问题，但对这些矛盾产生的具体原因和机制的深入分析相对有限。