【Android Framework系列】第17章 Android Q沙箱模式(Scoped Storage)

1 背景

上一章节【Android Framework系列】第16章 存储访问框架 (SAF) 主要分析了Android4.4引入的存储访问框架（SAF），本章节我们对Android10（Q）的存储相关进行分析，了解下其限制存储方式。

Google为了让用户更好地控制自己的文件，并限制文件混乱情况，Android Q 更改了App访问设备存储空间的方式。

1.1 Android Q以前

只要程序获得了READ_EXTERNAL_STORAGE权限，就可以随意读取外部的存储公有目录；
只要程序获得了WRITE_EXTERNAL_STORAGE权限，就可以随意在写入外部存储的公有目录上新建文件或文件夹。

1.2 Android Q以后

于是Google在Android Q中提出了分区存储，意在限制程序对外部存储中公有目录的使用。
分区存储对内部存储私有目录和外部存储私有目录都没有影响

2 沙箱模式

2.1 Android Q规定了App有两种存储空间模式视图：Legacy View、Filtered View。

2.1.1 Legacy View（兼容模式）

当项目targetSdkVersion <= 28时，AndroidQ设备上默认使用兼容模式，存储方式跟Android Q以前，App访问Sdcard一样，拥有完整的访问权限。

2.1.2 Filtered View（沙箱模式）

当项目targetSdkVersion > 28时，AndroidQ设备的App只能直接访问App-specific目录文件，没有权限访问App-specific外的文件。访问其他目录，只能通过MediaStore、SAF、或者其他App提供ContentProvider访问。

2.2 Scoped Storage将存储空间分为两部分

2.2.1 SD卡公共目录：Downloads、Documents、Pictures 、DCIM、Movies、Music、Ringtones

1. 公共目录的文件在App卸载后，不会删除
2. 可以通过SAF、MediaStore接口访问

2.2…2 data/data私有目录(App-specific目录)

1. 对于Filtered View App，App-specific目录只能自己直接访问
2. App卸载，数据会清除。

2.3 兼容影响

Scoped Storage对于App访问存储方式、App数据存放以及App间数据共享，都产生很大影响。

2.4 适配

具体适配参考官方文档

2.4.1 App运行视图

系统通过下列确定App运行模式：

1. App TargetSDK > 28，默认Filtered View（沙箱模式）

2. App TargetSDK <= 28，声明了READ_EXTERNAL_STORAGE或者WRITE_EXTERNAL_STORAGE权限，默认Legacy View（兼容模式）

3. 应用可以通过AndroidManifest.xml，设置requestLegacyExternalStorage，选择对应的方式：
   声明了READ_EXTERNAL_STORAGE、WRITE_EXTERNAL_STORAGE权限（没有声明则忽略）：
   requestLegacyExternalStorage=true表示Legacy View（兼容模式）
requestLegacyExternalStorage=false表示Filtered View（沙箱模式）
(注意：该方式Android11后失效了)
   

5. 系统应用可以申请android.permission.WRITE_MEDIA_STORAGE系统权限，同样拥有完整存储空间权限，可以访问所有文件，但是这个在CTS测试中，只有没有用户交互、可见的App，才能申请。具体参考《Android Bootcamp 2019 - Privacy Overview.pdf》。

6. App在下列条件都成立时
   ① 声明INSTALL_PACKAGES、或者动态申请INSTALL_PACKAGES权限
   ② 拥有WRITE_EXTERNAL_STORAGE权限
   ③ App拥有外置存储空间Read、Write权限。
   但是通过Environment.isExternalStorageLegacy接口判断，返回不一定是Legacy View。

2.4.2 判断当前App运行模式

判断当前App运行什么模式，可以通过这个API判断：

Environment.isExternalStorageLegacy();

2.5 读写公共目录

App启动Filtered View后，只能直接访问自身App-specific目录，所以Android Q，提供了两种访问公共目录的方法：

2.5.1 通过MediaStore定义的Uri

MediaStore提供了下列几种类型的访问Uri，通过查找对应Uri数据，达到访问的目的。
下列每种类型又分为三种Uri，Internal、External、可移动存储:

Audio

1. Internal: MediaStore.Audio.Media.INTERNAL_CONTENT_URI
   content://media/internal/audio/media。
2. External: MediaStore.Audio.Media.EXTERNAL_CONTENT_URI
   content://media/external/audio/media。
3. 可移动存储: MediaStore.Audio.Media.getContentUri
   content://media//audio/media。

Video

1. Internal: MediaStore.Video.Media.INTERNAL_CONTENT_URI
   content://media/internal/video/media。
2. External: MediaStore.Video.Media.EXTERNAL_CONTENT_URI
   content://media/external/video/media。
3. 可移动存储: MediaStore.Video.Media.getContentUri
   content://media//video/media。

Image

1. Internal: MediaStore.Images.Media.INTERNAL_CONTENT_URI
   content://media/internal/images/media。
2. External: MediaStore.Images.Media.EXTERNAL_CONTENT_URI
   content://media/external/images/media。
3. 可移动存储: MediaStore.Images.Media.getContentUri
   content://media//images/media。

File

1. MediaStore. Files.Media.getContentUri
   content://media//file。

Downloads

1. Internal: MediaStore.Downloads.INTERNAL_CONTENT_URI
   content://media/internal/downloads。
2. External: MediaStore.Downloads.EXTERNAL_CONTENT_URI
   content://media/external/downloads。
3. 可移动存储: MediaStore.Downloads.getContentUri
   content://media//downloads。

2.5.1.1 获取所有的Volume

对于前面描述的Uri中，getContentUri如何获取所有，可以通过下述方式：

for(String volume:MediaStore.getExternalVolumeNames(this)){
	MediaStore.Audio.Media.getContentUri(volume);
}

2.5.1.2 Uri跟公共目录关系

MediaProvider对于App存放到公共目录文件，通过ContentResolver insert方法中Uri来确定，其中下表中<Uri路径>为相对路径，完整为：
content://media//<Uri路径>。

2.5.1.3 权限

MediaStore通过不同Uri，为用户提供了增、删(如果通过File Uri无法删除文件，需要通过SAF接口)、改。
App对应的权限如下：

2.5.1.4 查询文件

通过ContentResolver，根据不同的Uri查询不同的内容：

  try (Cursor c = getContentResolver()
                .query(MediaStore.Images.Media.EXTERNAL_CONTENT_URI, PROJECTION, null, null, null)) {
            while (c.moveToNext()) {
                Uri contentUri =
                        ContentUris.withAppendedId(MediaStore.Images.Media.EXTERNAL_CONTENT_URI, c.getLong(0));
            }
        }

PS: MediaStore.Files 进行Query时候，只会显示图片、视频跟音频文件。

2.5.1.5 读取文件

通过ContentResolver query接口，查找出来文件后如何读取，可以通过下面的方式：

1. 通过ContentResolver openFileDescriptor接口，选择对应的打开方式
   例如”r”表示读，”w”表示写，返回ParcelFileDescriptor类型FD。
2. 访问Thumbnail，通过ContentResolver loadThumbnail接口
   通过传递大小，MediaProvider返回指定大小的Thumbnail。
3. Native代码访问文件
   如果Native代码需要访问文件，可以参考下面方式：
   ①通过openFileDescriptor返回ParcelFileDescriptor
   ②通过ParcelFileDescriptor.detachFd()读取FD
   ③将FD传递给Native层代码
   ④App需要负责通过close接口关闭FD

   	ParcelFileDescriptor parcelFd = resolver.openFileDescriptor(uri, file0penMode);
	if (parcelFd != null) {
	      int fd = parcelFd.detachFd();
	      // Pass the integer value "fd" into your native code. Remember to call
	      // close(2) on the file descriptor when you're done using it.
	}

2.5.1.6 新建文件

如果需要新建文件存放到公共目录，需要通过ContentResolver insert接口，使用不同的Uri，选择存储到不同的目录。

2.5.1.7 修改文件

如果需要修改多媒体文件，需要通过ContentResolver query接口查找出来对应文件的Uri。
如果不是自己新建的文件，需要注意2.5.1.3 权限中描述，需要申请WRITE_EXTERNAL_STORAGE权限或者catch RecoverableSecurityException，弹框给用户选择。


通过下列接口，获取需要修改文件的FD或者OutputStream：

1. getContentResolver().openOutputStream(contentUri)
   获取对应文件的OutputStream。
2. getContentResolver().openFile或者getContentResolver().openFileDescriptor
   通过openFile或者openFileDescriptor打开文件，需要选择Mode为”w”，表示写权限。这些接口返回一个ParcelFileDescriptor。
   getContentResolver().openFileDescriptor(contentUri,“w”);
   getContentResolver().openFile(contentUri,“w”,null);

2.5.1.8 删除文件

通过ContentResolver接口删除文件，Uri为query出来的Uri：

getContentResolver().delete(contentUri,null,null);

2.5.2 通过SAF接口

2.5.2.1 SAF简介

SAF，即Storage Access Framework，通过选择不同的DocumentsProvider，提供给用户打开、浏览文件。我们上一章节可以回头看一下

Android默认提供了下列DocumentsProvider：
MediaDocumentsProvider、ExternalStorageProvider、 DownloadStorageProvider。
他们之间差异是：

这个图片上，有三个区域，分别是：

1. MediaDocumentsProvide
2. DownloadStorageProvider
3. ExternalStorageProvider
4. 第三方DocumentsProvider

2.5.2.2 如何使用

具体参考官方文档

大致方法如下：

1. 选择单个文件
2. 选择目录
   
   文件管理程序，清理程序，可以通过这个方法获取对应目录以及子目录的全部管理权限。
3. 新建文件
   
4. 删除

DocumentsContract.deleteDocument(getContentResolver(),uri);

5. 修改

①获取OutputStream

getContentResolver().openOutputStream(uri);

②获取可写ParcelFileDescriptor

getContentResolver().openFileDescriptor(contentUri,"w");
getContentResolver().openFile (contentUri,"w",null);

具体Demo参考

2.6 访问App-specific目录

访问App-specific分为两种情况，第一是访问App自身App-specific目录，第二是访问其他App目录文件。

2.6.1 App自身App-specific目录

Android Q，App如果启动了Filtered View，那么只能直接访问自己目录的文件：

1. Environment.getExternalStorageDirectory、getExternalStoragePublicDirectory
   这些接口在Android Q上废弃，App是Filtered View，无法直接访问这个目录。
2. 通过File(“/sdcard/”)访问
   App是Filtered View，无法直接访问这个目录。
3. 获取App-specific目录
   获取Media接口：getExternalMediaDirs
   获取Cache接口：getExternalCacheDirs
   获取Obb接口：getObbDirs
   获取Data接口：getExternalFilesDirs

2.6.2 App-specific目录内部多媒体文件

App-specific目录内部多媒体文件：

1. App自身访问，跟2.6.1 App自身App-specific目录一样
2. 其他App访问
   ①默认情况下Media Scanner不会扫描App-specific里面的多媒体文件，如果需要扫描需要通过MediaScannerConnection.scanFile添加到MediaProvider数据库中
   访问方式跟2.5 读写公共目录一样。
   ②App通过ContentProvider共享出去

2.6.3 其他App目录文件

App是Filtered View，其他App无法直接访问当前App私有目录，需要通过下面方法：

2.6.3.1 通过SAF文件

1. 共享App自定义DocumentsProvider

App自定义DocumentsProvider需要做以下步骤：
a)指定DocumentsProvider

b)DocumentsProvider实现基本接口：

2. 访问App通过ACTION_OPEN_DOCUMENT，启动浏览
   

2.6.3.2 共享App实现FileProvider

FileProvider具体使用参考

这边总结一下大概步骤：

1. 指定App FileProvider
   

2. 指定文件路径，配置文件必须要放到res/xml中
   

3. 获取分享Uri
   

4. 设置权限，并且发送Uri
   
   

5. 接收App，设置接受的inter-filter
   

6. 接收并处理Uri
   

2.6.3.3 App自定义私有Provider

App可以实现自定义ContentProvider，尤其是内部文件共享，但是不希望UI交互。

2.7 MediaStore

2.7.1 MediaStore _data字段

MediaStore中，DATA即（_data）字段，在Android Q中开始废弃。读写文件需要通过openFileDescriptor。

2.7.2 MediaStore文件Pending状态

Android Q上，MediaStore中添加了一个IS_PENDING Flag，用于标记当前文件时Pending状态。
其他App通过MediaStore查询文件，如果没有设置setIncludePending接口，查询不到设置为Pending状态的文件，这就给App专享访问此文件。在一些情况下使用，例如在下载的时候：下载中，文件是Pending状态下载完成，文件Pending状态置为0。

2.7.3 MediaColumns.RELATIVE_PATH设置存储路径

Android Q上，通过MediaStore存储到公共目录的文件，除了2.5.1.2节Uri跟公共目录关系中规定的每一个存储空间的一级目录外，可以通过MediaColumns.RELATIVE_PATH来指定存储的次级目录，这个目录可以使多级，具体代码如下：

1. ContentResolver insert方法
   通过values.put(Media.RELATIVE_PATH,"Pictures/album/family ")指定存储目录。其中，Pictures是一级目录，album/family是子目录。
2. ContentResolver update方法
   通过values.put(Media.RELATIVE_PATH,"Pictures/album/family ")指定存储目录。通过update方法，可以移动存储地方。

2.7.4 访问图片Exif Metadata

Android Q上， App如果需要访问图片上的Exif Metadata，需要做下列事情：

1. 申请ACCESS_MEDIA_LOCATION权限
2. 通过MediaStore.setRequireOriginal返回新Uri
   Demo Code如下：
   

2.7.5 App Filtered View，访问权限总结

App访问不同目录的权限总结如下：

2.7.6 应用卸载

如果App在AndroidManifest.xml中声明：android:hasFragileUserData="true"
卸载应用会有提示是否保留App数据：

2.7.7 App数据迁移

Android Q上，App TargetSDK>=Q默认是Filtered View。App如果是Filtered View，会涉及到数据的迁移，不然会导致旧数据无法使用。可以从下面几方面着手数据迁移：

1. App需要在Legacy View下才能拥有完整操作存储的权限
2. App存放在非公共区域的文件，可以通过SAF访问，通过SAF选择目录文件，用户选择访问App文件。
   
3. App可以将需要保存的文件：
   Images、Video、Audio放到对应的公共目录，其他文件卸载后不删除文件可以放到Downloads下面。

2.7.8 MediaStore Queries

在使用MediaStore进行query动作的时候，使用Projection时，Column Name要在MediaStore中定义好的。

2.8 WRITE_MEDIA_STORAGE权限

2.8.1 背景

WRITE_MEDIA_STORAGE是一个很大强大的权限，能够允许App获取访问所有存储设备的权限。访问所有存储设备的权限，这个应当只赋予Media Stack。

2.8.2 兼容影响

在Android系统中，规定了WRITE_MEDIA_STORAGE能够获取media_rw用户组：

1. 对于所有的可移动存储设备，例如T卡、U盘，在Mount到Android中的时候，对于普通App只有读权限，没有写权限，只有是media_rw用户组App，才能够写可移动存储设备
2. 对于Android Q上，Scoped Storage，可以通过此权限，设置App运行为兼容模式
3. Android CTS会进行测试，User-launchable 的App，不能申请此权限
   具体参考《Android Bootcamp 2019 - Privacy Overview.pdf》。

2.8.3 适配

App如果需要访问Media或者外置存储设备，可以通过MediaStore或者Storage Access Framework（SAF）接口。

3 总结

好了，这里总结一下：

1. App TargetSDK > 28 即 Android10(Q)及以上项目，Google限制了存储沙箱模式，在Android10(Q)以上的设备建议使用私有目录data/data，无法再直接访问外部SD卡存储目录，如需要使用外部SD卡存储目录则需要通过SAF、MediaStore接口访问，并且只能访问特定的外部SD卡存储目录，如Downloads、Documents、Pictures 、DCIM、Movies、Music、Ringtones等。这些外部SD卡存储目录（公有目录）所有App都能访问，因此显得不太安全。
2. App TargetSDK <= 28 即 Android10(Q)以下项目，不受限制，有WRITE_MEDIA_STORAGE,READ_MEDIA_STORAGE权限即可。所以如果实在不想改动外部SD存储，那就将项目的targetSdk改成<=28。
3. 至于SAF、MediaStore接口访问外部SD卡存储特定目录的方法，详细参考上面的说明或参考官方文档。这里有个使用MediaStore方式访问外部SD卡存储特定目录的Demo供小伙伴们参考，别忘记点Star喔