Spark读取HDFS加密区数据乱码问题解决

因为项目需求，需要启用hdfs加密区，为了验证对现有程序的影响，我在自己的集群上配置了加密区，并测试spark和java程序读取数据。

spark程序代码如下

    System.setProperty("HADOOP_USER_NAME", "user1")

    val spark = SparkSession
      .builder()
      .master("local")
      .getOrCreate()

    // val data = spark.read.text("/user1/a.txt")
    val data = spark.read.text("/user/user1/a.txt")
    data.show()
 

一开始我读取到的是乱码，

 网上关于java和spark读取hdfs加密区数据的资料极少，基本都是在讲解hdfs加密区实现原理，或者使用命令行进行操作，而且都模糊的说道支持Hadoop客户端透明读写数据。我在网上搜索很久仅在一篇文章中找到明确说明spark程序无需任何更改即可读写加密区数据，因此我以为spark需要进行特殊配置或者更改代码。

后来无意中新建了一个项目，把代码拷过来，发现能正常读取数据。