64位Linux上部署hadoop2.6.0的HDFS

最新推荐文章于 2018-02-22 21:41:58 发布

oneinmore

最新推荐文章于 2018-02-22 21:41:58 发布

阅读量1.4k

点赞数

文章标签： linux 64bit hadoop 2.6.0 hdfs

本文链接：https://blog.csdn.net/oneinmore/article/details/45062519

版权

RHEL6 64bit

下载apache hadoop-2.6.0的二进制程序，解压到某个目录（建议在各机器上的路径相同）；

根据http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html这篇文章进行设置。该文描述的是非HA模式。因为只需HDFS，所以只需设置两个配置文件core-site.xml和hdfs-site.xml。简单配置即可（实验性的）：

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://host-name-or-ip:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/root/hadoop/tmp</value>  <!-- 所有目录均可修改 -->
  </property>

</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/root/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/root/dfs/data</value>
  </property>

</configuration>

然会设置slaves文件。最后在namenode启动namenode进程，datanode启动相应datanode进程。

注意事项：

1. 15/04/15 09:08:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这是lib/native中本地库有问题，直接下载的二进制hadoop的native库可以在RHEL7上使用，但在RHEL6上用不了，必须自己编译一份。

2. No Route to Host from <dn2/192.168.2.53> to <nmnode:9000> failed on socket timeout exception: java.net.NoRouteToHostException: Ã»ÓÐµ½Ö÷»úµÄÂ·ÓÉ; For more details see: http://wiki.apache.org/hadoop/NoRouteToHost

这可能是namenode上的防火墙没有关