Hadoop之HDFS的配置（详细步骤）

前期准备：

免密配置成功，jdk 1.8.0_271环境变量配置成功的前提下

将配置好的jdk 1.8.0_271文件夹和hadoop-2.7.6 下载解压后的文件夹上传到主节点

在主节点上建立一个hadoop文件夹，在hadoop文件夹下建立NameNode和DataNode两个空文件夹

hadoop下载路径：

下载Hadoop

纵向配置：

如果使用root账户配置全部用户的环境变量，则修改配置文件：

/ect/profile

如果使用用户ZQ配置环境变量，则修改配置文件：

cd /home/ZQ

vim .bashrc

增加如下内容：

#Hadoop

export HADOOP_HOME=/home/ZQ/hadoop-2.7.6

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

/*   /home/ZQ/hadoop-2.7.6为具体安装路径*/

保存退出后输入source .bashrc使其生效

source .bashrc

横向配置：

进入$/HADOOP_HOME/etc/hadoop目录：

cd hadoop-2.7.6/etc/hadoop

完成该目录下的四个配置文件：

1、配置core-site.xml

vim core-site.xml

 增加如下内容：

<configuration>

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://westgisB062:8020</value> 

  </property>

 </configuration>

/*此处的westgisB062为NameNode的机器名，8020为RPC通讯端口*/

2、配置hdfs-site.xml

vim hdfs-site.xml

增加如下内容：

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>3</value> 
  </property>
 <property>
       <name>dfs.namenode.name.dir</name>
        <value>/home/ZQ/hadoop/NameNode</value> 
  </property>
 <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/ZQ/hadoop/DataNade</value> 
  </property>
</configuration>

/*此处dfs.replation为数据的备份个数，一般情况为3

此处/home/ZQ/hadoop/NameNade为元数据在NameNode本地存储路径，手动创建

此处/home/ZQ/hadoop/DataNade为实际数据在DataNode本地存储路径，手动创建*/

3、配置hadoop-env.sh

vim hadoop-env.sh

在文件最后增加 export JAVA_HOME=/home/ZQ/jdk1.8.0_271

export JAVA_HOME=/home/ZQ/jdk1.8.0_271

/*在配置文件中增加jdk的路径*/

4、配置slaves

vim slaves

删除文件重的localhost,然后将HDFS集群所有的DataNade机器名，每一个，形式如下：

westgisB059

westgisB060

westgisB061

westgisB063

 复制主节点的jdk 1.8.0_271    hadoop-2.7.6 和 hadoop到所有从节点：

以63节点为例：（其他节点一样）

scp -r /home/ZQ/hadoop-2.7.6 ZQ@10.103.105.63:/home/ZQ

scp -r /home/ZQ/jdk 1.8.0_271 ZQ@10.103.105.63:/home/ZQ

scp /home/ZQ/hadoop ZQ@10.103.105.63:/home/ZQ

复制主节点环境配置到所有从节点：

以其中一个节点为例，其他节点同理 

scp .bashrc ZQ@10.103.105.59:/home/ZQ

scp .bashrc ZQ@10.103.105.60:/home/ZQ

scp .bashrc ZQ@10.103.105.61:/home/ZQ

scp .bashrc ZQ@10.103.105.63:/home/ZQ

/*此处也可以到每个节点下面配置环境变量  

例如：以63节点为例

退出后记得 source .bashrc 使配置文件生效*/

集群的初始化与启动

 1、格式化HDFS

hadoop namenode -format

 2、启动HDFS

  主节点执行 $HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-dfs.sh

3、Web监控界面

    URL   http://10.103.105.62:50070

   /*监控界面显示了集群的相关信息如NN节点个数、节点存储空间等信息*/

 4、命令行状态查看集群状态

   hadoop dfsadmin –report    /*显示节点个数、节点存储空间等信息*/

 5、停止HDFS

    主节点执行 $HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-dfs.sh

常见的错误排查方法

 1、查看java进程(一）

   jps  /*显示当前账户java进程*/

 2、查看java进程(二）

  ps aux|grep java /*显示当前节点java进程，功能比(一)强大*/

 3、查看端口是否开启

   netstat –tunlp|grep 50070   

 4、占用某个端口的进程

   lsof–i:50070 

 5、异常处理查看日志

   $HADOOP_HOME/logs/*-DataNode-.log

   $HADOOP_HOME/logs/*-DataNode-.out