spark找不到服务器文件,Spark/Hadoop - 无法使用服务器端加密保存到s3

我正在运行AWS EMR集群以运行spark任务。为了使用s3存储桶，hadoop配置设置了访问密钥，秘密密钥，enableServerSideEncryption和用于加密的算法。请参考下面Spark/Hadoop - 无法使用服务器端加密保存到s3

val hadoopConf = sc.hadoopConfiguration; hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem") hadoopConf.set("fs.s3.awsAccessKeyId", "xxx") hadoopConf.set("fs.s3.awsSecretAccessKey", "xxx") hadoopConf.set("fs.s3.enableServerSideEncryption", "true") hadoopConf.set("fs.s3.serverSideEncryptionAlgorithm","AES256")

的代码在上述结构中，火花程序能够从S3桶读取，执行该处理。但在尝试将结果保存到s3时失败，这强制数据必须加密。如果存储区允许未加密的数据，则会将其成功保存为未加密。

即使集群是使用强制服务器端加密的选项构建的，也会发生这种情况--emrfs Encryption=ServerSide,Args=[fs.s3.serverSideEncryptionAlgorithm=AES256]。

hadoop distcp从emf到s3上的hdfs也失败。但是，使用--s3ServerSideEncryption选项进行设置时，s3-dist-copy(aws version hdfs distcp)可以成功运行。

但是，ec2实例具有所需的角色权限，可以在不使用任何用户访问密钥的情况下将数据上载到具有服务器端加密的相同存储桶。请参阅下面的示例命令。如果-sse在下面的命令中被省略，它将会抛出“拒绝访问错误”。

aws s3 cp test.txt s3://encrypted-bucket/ —sse

这将是有益的，如果有人能在火花/ Hadoop的数据到AWS S3保存服务器端加密需要配置有帮助。

2016-02-22

stash