hadoop连接Amazon s3时,core-site.xml文件该怎么配置?
1. 注意
具体配置要求如下:
1.首先,要确认自己使用的是 s3 服务接口,还是s3n、s3a,然后在下面三个模板中选择一个添加到你的 core-site.xml 文件中去。
2.记得修改成自己的 secret key 与 access key 哦!
2. s3的配置模板
<property>
<name>fs.s3.access.key</name>
<value>AD219WWP7J246X6M66D2</value>
</property>
<property>
<name>fs.s3.secret.key</name>
<value>DhK8SZdmAVwwDDYh0KXbUPQelIejl3snZOwPNlNh</value>
</property>
<property>
<name>fs.s3.impl</name>
<value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>
3. s3n的配置模板
<property>
<name>fs.s3n.access.key</name>
<value>access.key</value>
</property>
<property>
<name>fs.s3n.secret.key</name>
<value>secret.key</value>
</property>
<property>
<name>fs.s3n.impl</name>
<value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>
4. s3a的配置模板
<property>
<name>fs.s3a.access.key</name>
<value>access.key</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>secret.key</value>
</property>
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
5. 必须要添加的配置
5.1 配置 endpoint
似乎只有s3a才支持配置endopint!s3没试过、s3n版本太旧了,hadoop强制要我改成s3a才可以连接。
<property>
<name>fs.s3a.endpoint</name>
<value>endpoint:port</value>
</property>
5.2 禁用ssl
<property>
<name>fs.s3a.connection.ssl.enabled</name>
<value>false</value>
</property>