1.oss可以上传到hdfs,支持emr集群还支持其他开源的hdfs版本。
emr-tools兼容Hadoop 2.4.x、2.5.x、2.6.x、2.7.x版本,如果有其他Hadoop版本兼容性的需求,请提交工单给阿里云。
下载https://helpcdn.aliyun.com/document_detail/63822.html
tar jxf emr-tools.tar.bz2
2.oss到hdfs命令。
./hdfs2oss4emr.sh oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/path/on/oss /path/on/new-hdfs
这个可以作为备份数据的方式,可以降低存储价格。
参数 | 说明 |
---|---|
accessKeyId | 访问OSS API的密钥。 获取方式请参见如何获取如何获取AccessKeyId和AccessKeySecret。 |
accessKeySecret | |
bucket-name.oss-cn-hangzhou.aliyuncs.com | OSS的访问域名,包括bucket名称和endpoint地址。 |