大数据BigData之hadoop连接Amazon s3时，core-site.xml文件该怎么配置？

hadoop连接Amazon s3时，core-site.xml文件该怎么配置？

---

1. 注意

具体配置要求如下：
1.首先，要确认自己使用的是 s3 服务接口，还是s3n、s3a，然后在下面三个模板中选择一个添加到你的 core-site.xml 文件中去。
2.记得修改成自己的 secret key 与 access key 哦！

---

2. s3的配置模板

<property>
    <name>fs.s3.access.key</name>
    <value>AD219WWP7J246X6M66D2</value>
</property>
<property>
    <name>fs.s3.secret.key</name>
    <value>DhK8SZdmAVwwDDYh0KXbUPQelIejl3snZOwPNlNh</value>
</property>
<property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>

---

3. s3n的配置模板

<property>
    <name>fs.s3n.access.key</name>
    <value>access.key</value>
</property>
<property>
    <name>fs.s3n.secret.key</name>
   <value>secret.key</value>
</property>
<property>
    <name>fs.s3n.impl</name>
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

---

4. s3a的配置模板

<property>
    <name>fs.s3a.access.key</name>
    <value>access.key</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>secret.key</value>
</property>
<property>
    <name>fs.s3a.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>

5. 必须要添加的配置

5.1 配置 endpoint

似乎只有s3a才支持配置endopint！s3没试过、s3n版本太旧了，hadoop强制要我改成s3a才可以连接。

<property>
    <name>fs.s3a.endpoint</name>
    <value>endpoint:port</value>
</property>

5.2 禁用ssl

<property>
  <name>fs.s3a.connection.ssl.enabled</name>
  <value>false</value>
</property>