分布式HDFS配置

1.配置core-site.xml文件，我这里是修改hadoop默认的文件，也就是/hadoop-x.x.x/etc/hadoop/目录下的

(1)设置NN使用哪个端口接收客户端和DN的RPC请求。

chen是 图1.在/etc/hosts下配置和本机ip映射的名称。注：名称是本机的名称，乱起名会报错

(2)设置hdfs存储数据目录

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <!-- 告知NN在哪个机器，NN使用哪个端口号接收客户端和DN的RPC请求 -->
    <value>hdfs://chen:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
  </property>
</configuration>

图1.

 

2.格式化NameNode：hadoop namenode -format

只需要格式化一次，格式化会把格式数据清除

格式化的目的就是生成hdfs存储数据目录(/opt/module/hadoop-2.7.2/data/tmp)和下级的目录文件

 

3.启动NN和DN(NameNode,DataNode)

启动NameNode：hadoop-daemon.sh start namenode

启动DataNode：hadoop-daemon.sh start datanode

通过jps查看发现NameNode成功启动

 

4.上传文件

把当前文件夹下的hello文件上传的到hdfs存储数据目录的根目录下：hadoop fs -put hello /

 

通过ip:50070访问,看到Datanode和刚上传的文件

 

 

 

 

 

如果通过jps查看进程发现namenode并没有启动成功

 

这时候我们就要根据上面给出的日志路径去查看错误日志，上面给出的路径的后缀是.out，但我们查看的日志是.log后缀的

切换到hadoop的log目录下查看日志，这里-n 100只显示最后100行