hadoop配置_hadoop 单机配置dfs.nameservices-CSDN博客

本文链接：https://blog.csdn.net/Volcano3511/article/details/78674082

软件环境

hadoop usr/hadoop/app/hadoop
jdk /usr/local/jdk-xxx
zookeeper /usr/hadoop/app/hadoop

软件去官网下载既可

搭建规划

lk	slave2	slave2	slave3	slave4	slave5
namenode	y	y	n	n	n
datanode	n	n	y	y	y
resourcemanager	y	y	n	n	n
jouralnode	y	y	y	y	y
zookeeper	y	y	y	n	n

安装过程

用户

注意不能用root用户，可以新建一个或者用一个普通账户就可以
我这里用的是qsb，home路径为/home/qsb

关闭防火墙

查看防火墙状态
service iptables status
然后永久关闭防火墙，使用chkconfig iptables off命令，此时当前虚拟机的防火墙还没有关闭。只有在关机重启后才能生效。

免密登陆——之前已经配置过了

创建工具

在家目录下创建tools文件夹，然后创建如下三个文件
这个工具很方便，前面的配置也可以用

deploy.sh

#!/bin/bash 
#set -x 

#判断参数是否小于3个，因为运行deploy.sh需要有源文件（或源目录）和目标文件（或目标目录）， 
#以及在MachineTag（哪些主机）上执行，这个标记就是上面deploy.conf中的标记 ，如 zookeeper、all等 
#使用实例如：我们把app目录下的所有文件复制到远程标记为zookeeper的主机上的/home/hadoop/app目录下 
# ./deploy.sh  /home/hadoop/app /home/hadoop/app zookeeper 
#执行完上述命令后，shell脚本文件就自动把CDHNode1下的app目录中的文件复制到三个zookeeper节点的app目录下  
if [ $# -lt 3 ]   
then  
  echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag" 
  echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile" 
  exit  
fi 
#源文件或源目录 
src=$1 
#目标文件或目标目录 
dest=$2cat  
#标记 
tag=$3 

#判断是否使用deploy.conf配置文件，或者自己指定配置文件 

if [ 'a'$4'a' == 'aa' ] 
then 
  confFile=/home/hadoop/tools/deploy.conf 
else  
  confFile=$4 
fi 

#判断配置文件是否是普通文本文件 
if [ -f $confFile ] 
then 
#判断原件是普通文件还是目录 
 if [ -f $src ] 
  then 
#如果是普通文件就把解析出标记对应的主机名的ip 
 for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`  
    do 
       scp $src $server":"${dest}  #使用循环把文件复制到目标ip上的相应目录下 
    done  
  elif [ -d $src ] 
  then 
    for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`  
    do 
       scp -r $src $server":"${dest} 
    done  
  else 
      echo "Error: No source file exist" 
  fi 

else 
  echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory" 
fi

runRemoteCmd.sh

#!/bin/bash 
#set -x 
#判断参数个数 
#实例如：显示所有节点的java进程，中间用引号的就是命令，这个命令将在所以节点上执行 
#./runRemoteCmd.sh  "jps" all 
if [ $# -lt 2 ] 
then  
  echo "Usage: ./runRemoteCmd.sh Command MachineTag" 
  echo "Usage: ./runRemoteCmd.sh Command MachineTag confFile" 
  exit  
fi 

cmd=$1 
tag=$2 
if [ 'a'$3'a' == 'aa' ] 
then 

  confFile=/home/hadoop/tools/deploy.conf 
else  
  confFile=$3 
fi 

if [ -f $confFile ] 
then 
    for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`  
    do 
       echo "*******************$server***************************" 
       ssh $server "source /etc/profile; $cmd"   
# 注意在使用的时候要根据自己设置的环境变量的配置位置，给定相应的source源 ， 
# 如 我把环境变量设/home/hadoop/.bash_profile文件下，就需要上面这条命令改为 
# ssh $server "source /home/hadoop/.bash_profile;$cmd" 
#上面的例子：这条命令就是在远程标记为tag的主机下执行这个命令jps。 
 done  
else 
  echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"  
fi

deploy.conf

lk,all,zookeeper,journalnode,namenode,resourcemanager, 
slave2,all,slave,zookeeper,journalnode,namenode,datanode,resourcemanager, 
slave3,all,slave,zookeeper,journalnode,datanode,nodemanager, 
slave4,all,slave,journalnode,datanode,nodemanager, 
slave5,all,slave,journalnode,datanode,nodemanager,

给脚本文件添加执行权限

sudo chmod u+x deploy.sh 
sudo chmod u+x runRemoteCmd.sh

为了方便起见，将tools目录添加到环境变量中

然后就可以通过runRemoteCmd.sh脚本，一键创建所有节点的软件安装目录/usr/hadoop/app。

安装JDK

卸载原有的openjdk
1. 查看原有的JDK信息

rpm -qa | grep java

把原有的openjdk的软件都需要卸载掉

rpm -e --nodeps xxxx

安装官网下载的JDK
直接解压到一个路径，然后在系统路径中添加JDK解压路径即可

export JAVA_HOME=/usr/local/jdk-xxx
export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATH 
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

记得source一下
然后查看：

java -version

显示是你下载的版本就行

安装Zookeeper

下载好Zookeeper，然后解压到一个路径，我的机子上是/usr/hadoop/app/zookeeper

修改zookeeper的配置文件
conf/ 文件夹下面
创建zoo.cfg文件

原来文件夹下面有一个zoo_sample.cfg
cp zoo_sample.cfg zoo.cfg

打开zoo.cfg文件

#添加下面的 
# The number of milliseconds of each tick 
tickTime=2000 
# The number of ticks that the initial 
# synchronization phase can take 
initLimit=10 
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement 
syncLimit=5 
# the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just 
# example sakes. 
#数据文件目录与日志目录 ，这两个可根据自己的来
dataDir=/data/hadoop/data/zookeeper/zkdata 
dataLogDir=/data/hadoop/data/zookeeper/zkdatalog 
# the port at which the clients will connect 
clientPort=2181 
#server.服务编号=主机名称：Zookeeper不同节点之间同步和通信的端口：选举端口（选举leader）  
server.1=lk:2888:3888 
server.2=slave2:2888:3888 
server.3=slave3:2888:3888 

# administrator guide before turning on autopurge. 
# 
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance 
# 
# The number of snapshots to retain in dataDir 
#autopurge.snapRetainCount=3 
# Purge task interval in hours 
# Set to "0" to disable auto purge feature 
#autopurge.purgeInterval=1

配置环境变量
个人习惯在/etc/profile中配置

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper  
export PATH=$PATH:$ZOOKEEPER_HOME/bin

记得source一下

通过远程命令deploy.sh将Zookeeper安装目录拷贝到其他节点(slave2、slave3)上面

deploy.sh zookeeper /usr/hadoop/app/ zookeeper

通过远程命令runRemoteCmd.sh在所有的zookeeper节点(lk、slave2、slave3)上面创建目录

runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdata" zookeeper   //创建数据目录 
runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdatalog" zookeeper   //创建日志目录

在前面设置的zookeeper数据文件夹中创建myid文件

cd /data/hadoop/data/zookeeper/zkdata  
vim myid

根据前面的server.x来输入
在这里lk,slave2,slave3中分别填入1,2,3

启动zookeeper
使用runRemoteCmd.sh 脚本，启动所有节点（lk,slave2,slave3）上面的Zookeeper。

 runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

查看所有节点上面的QuorumPeerMain进程是否启动。

 runRemoteCmd.sh "jps" zookeeper  
或者
 runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh status" zookeeper

如果一个节点为leader，另2个节点为follower，则说明Zookeeper安装成功。

安装hadoop

下载hadoop，解压到/usr/hadoop/app/hadoop中
配置环境变量

HADOOP_HOME=/usr/hadoop/app/hadoop 
PATH=$HADOOP_HOME/bin:$PATH

切换到usr/hadoop/app/hadoop/etc/hadoop/录下，修改配置文件。
配置hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/usrlocal/jdk1.7.0_79

配置core-site.xml
仔细看一下，里面的数据都要改成自己的

vi core-site.xml 
<configuration> 
        <property> 
                <name>fs.defaultFS</name> 
                <value>hdfs://cluster1</value> 
        </property> 
        <!-- 这里的值指的是默认的HDFS路径 ，取名为cluster1 --> 
        <property> 
                <name>hadoop.tmp.dir</name> 
                <value>/data/hadoop/data/tmp</value> 
        </property> 
        <!-- hadoop的临时目录，如果需要配置多个目录，需要逗号隔开，data目录需要我们自己创建 -->  
        <property> 
                <name>ha.zookeeper.quorum</name> 
                <value>lk:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181</value> 
        </property> 
        <!-- 配置Zookeeper 管理HDFS --> 
</configuration>

配置hdfs-site.xml

vi hdfs-site.xml 
<configuration>  
        <property>  
                <name>dfs.replication</name>  
                <value>3</value>  
        </property>  
        <!-- 数据块副本数为3 -->  
        <property>  
                <name>dfs.permissions</name>  
                <value>false</value>  
        </property>  
        <property>  
                <name>dfs.permissions.enabled</name>  
                <value>false</value>  
        </property>  
        <!-- 权限默认配置为false -->  
        <property>  
                <name>dfs.nameservices</name>  
                <value>cluster1</value>  
        </property>  
        <!-- 命名空间，它的值与fs.defaultFS的值要对应，namenode高可用之后有两个namenode，cluster1是对外提供的统一入口 -->  
        <property>  
                <name>dfs.ha.namenodes.cluster1</name>  
                <value>lk,slave2</value>  
        </property>  
        <!-- 指定 nameService 是 cluster1 时的nameNode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可 -->  
        <property>  
                <name>dfs.namenode.rpc-address.cluster1.lk</name>  
                <value>lk:9000</value>  
        </property>  
        <!-- lk rpc地址 -->  
        <property>  
                <name>dfs.namenode.http-address.cluster1.lk</name>  
                <value>lk:50070</value>  
        </property>  
        <!-- lk http地址 -->  
        <property>  
                <name>dfs.namenode.rpc-address.cluster1.slave2</name>  
                <value>slave2:9000</value>  
        </property>  
        <!-- slave2 rpc地址 -->  
        <property>  
                <name>dfs.namenode.http-address.cluster1.slave2</name>  
                <value>slave2:50070</value>  
        </property>  
        <!-- CDHNode2 http地址 -->  
        <property>  
                <name>dfs.ha.automatic-failover.enabled</name>  
                <value>true</value>  
        </property>  
        <!-- 启动故障自动恢复 -->  
        <property>  
                <name>dfs.namenode.shared.edits.dir</name>  
                <value>qjournal://lk:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/cluster1</value>  
        </property>  
        <!-- 指定journal -->  
        <property>  
                <name>dfs.client.failover.proxy.provider.cluster1</name>  
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
        </property>  
        <!-- 指定 cluster1 出故障时，哪个实现类负责执行故障切换 -->  
        <property>  
                <name>dfs.journalnode.edits.dir</name>  
                <value>/tmp/hadoop/data/journaldata/jn</value>  
        </property>  
        <!-- 指定JournalNode集群在对nameNode的目录进行共享时，自己存储数据的磁盘路径 -->  
        <property>  
                <name>dfs.ha.fencing.methods</name>  
                <value>shell(/bin/true)</value>  
        </property>  
        <property>  
        <name>dfs.ha.fencing.ssh.private-key-files</name>  
        <value>/home/qsb/.ssh/id_rsa</value>  
        </property>  
        <property>  
        <name>dfs.ha.fencing.ssh.connect-timeout</name>  
        <value>10000</value>  
        </property>  
        <!-- 脑裂默认配置 -->  
        <property>  
                <name>dfs.namenode.handler.count</name>  
                <value>100</value>  
        </property>  
</configuration>

配置 slave

vim slaves 
slave3
slave4
slave5

yarn配置

配置mapred-site.xml

<configuration> 
        <property> 
                <name>mapreduce.framework.name</name> 
                <value>yarn</value> 
        </property> 
        <!-- 指定运行mapreduce的环境是Yarn，与hadoop1不同的地方 -->  
</configuration>

配置 yarn-site.xml

<configuration> 
     <property> 
          <name>yarn.resourcemanager.connect.retry-interval.ms</name> 
          <value>2000</value> 
     </property> 
     <!-- 超时的周期 --> 
     <property> 
          <name>yarn.resourcemanager.ha.enabled</name> 
          <value>true</value> 
     </property> 
     <!-- 打开高可用 --> 
     <property> 
          <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> 
          <value>true</value> 
     </property> 
     <!-- 启动故障自动恢复 --> 
     <property> 
          <name>yarn.resourcemanager.ha.automatic-failover.embedded</name> 
          <value>true</value> 
     </property> 
     <property> 
          <name>yarn.resourcemanager.cluster-id</name> 
           <value>yarn-rm-cluster</value> 
     </property> 
     <!-- 给yarn cluster 取个名字yarn-rm-cluster --> 
     <property> 
          <name>yarn.resourcemanager.ha.rm-ids</name> 
          <value>rm1,rm2</value> 
     </property> 
     <!-- 给ResourceManager 取个名字 rm1,rm2 --> 
     <property> 
          <name>yarn.resourcemanager.hostname.rm1</name> 
          <value>lk</value> 
     </property> 
     <!-- 配置ResourceManager rm1 hostname --> 
     <property> 
          <name>yarn.resourcemanager.hostname.rm2</name> 
          <value>slave2</value> 
     </property> 
     <!-- 配置ResourceManager rm2 hostname --> 
     <property> 
           <name>yarn.resourcemanager.recovery.enabled</name> 
          <value>true</value> 
     </property> 
     <!-- 启用resourcemanager 自动恢复 --> 
     <property> 
          <name>yarn.resourcemanager.zk.state-store.address</name> 
           <value>lk:2181,slave2:2181,slave3:2181,slave4:2181slave5:2181</value> 
     </property> 
     <!-- 配置Zookeeper地址 --> 
     <property> 
           <name>yarn.resourcemanager.zk-address</name> 
          <value>lk:2181,slave2:2181,slave3:2181,slave4:2181slave5:2181</value> 
     </property> 
     <!-- 配置Zookeeper地址 --> 
     <property> 
           <name>yarn.resourcemanager.address.rm1</name> 
          <value>lk:8032</value> 
     </property> 
     <!--  rm1端口号 --> 
     <property> 
          <name>yarn.resourcemanager.scheduler.address.rm1</name> 
          <value>lk:8034</value> 
     </property> 
     <!-- rm1调度器的端口号 --> 
     <property> 
          <name>yarn.resourcemanager.webapp.address.rm1</name> 
          <value>lk:8088</value> 
     </property> 
     <!-- rm1 webapp端口号 --> 
     <property> 
          <name>yarn.resourcemanager.address.rm2</name> 
     <value>slave2:8032</value> 
     </property> 
     <!-- rm2端口号 --> 
     <property> 
          <name>yarn.resourcemanager.scheduler.address.rm2</name> 
          <value>slave2:8034</value> 
     </property> 
     <!-- rm2调度器的端口号 --> 
     <property> 
          <name>yarn.resourcemanager.webapp.address.rm2</name> 
          <value>slave2:8088</value> 
     </property> 
     <!-- rm2 webapp端口号 --> 
     <property> 
           <name>yarn.nodemanager.aux-services</name> 
          <value>mapreduce_shuffle</value> 
     </property> 
     <property> 
           <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>  
          <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
     </property> 
     <!-- 执行MapReduce需要配置的shuffle过程 --> 
</configuration>

runRemoteCmd.sh "mkdir -p /data/hadoop/data/name" all 

runRemoteCmd.sh "mkdir -p /data/hadoop/data/hdfs/edits" all 

runRemoteCmd.sh "mkdir -p /data/hadoop/data/datanode" all 

runRemoteCmd.sh "mkdir -p /data/hadoop/data/journaldata/jn" all 

runRemoteCmd.sh "mkdir -p /data/hadoop/data/tmp" all 

runRemoteCmd.sh "touch /usr/hadoop/app/hadoop/etc/hadoop/excludes" all  

runRemoteCmd.sh "mkdir -p /data/hadoop/data/pid" all

PS:

当你的在初始化工程中出错，要把相关目录的文件删除，然后再重新初始化

rm -rf /data/hadoop/data/name/* 

rm -rf /data/hadoop/data/hdfs/edits/* 

rm -rf /data/hadoop/data/datanode/* 

rm -rf /data/hadoop/data/journaldata/jn/* 

rm -rf /data/hadoop/data/tmp/

当你的在初始化工程中出错，要把相关目录的文件删除，然后再重新初始化

rm -rf /data/hadoop/data/name/* 
rm -rf /data/hadoop/data/hdfs/edits/* 

rm -rf /data/hadoop/data/datanode/* 

rm -rf /data/hadoop/data/journaldata/jn/* 

rm -rf /data/hadoop/data/tmp/*

hadoop是所有机器上都要配置的，以上hadoop操作所有机器都要配置

集群初始化

启动所有节点上面的Zookeeper进程

runRemoteCmd.sh "/usr/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

启动所有节点上面的journalnode进程

 runRemoteCmd.sh "/usr/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all

首先在主节点上(比如,lk)执行格式化

bin/hdfs namenode -format              / /namenode 格式化  
bin/hdfs zkfc -formatZK                 //格式化高可用 
bin/hdfs namenode           //启动namenode

如果报错，记得看日志查找问题

与此同时，需要在备节点（比如 slave2）上执行数据同步

bin/hdfs namenode -bootstrapStandby     //同步主节点和备节点之间的元数据

slave2同步完数据后，紧接着在CDHNode1节点上，按下ctrl+c来结束namenode进程。然后关闭所有节点上面的journalnode进程

runRemoteCmd.sh "/usr/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all        //然后停掉各节点的journalnode

如果上面操作没有问题，我们可以一键启动hdfs所有相关进程

sbin/start-dfs.sh

验证是否启动成功

通过web界面查看namenode启动情况。
http://10.113.10.1:50070

一个active，一个standby（因为之前测试的时候把lk暂时关闭了，所以lk成了standby，slave2成了active）

启动成功之后，查看关闭其中一个namenode ，然后在启动namenode 观察切换的状况
关闭slave2

上传文件至hdfs

vi test1.txt  //本地创建一个a.txt文件,内容自己写吧
hdfs dfs -mkdir /test   //在hdfs上创建一个文件目录
hdfs dfs -put test1.txt /test      //向hdfs上传一个文件
hdfs dfs -ls /test       //查看a.txt是否上传成功

如果上面操作没有问题说明hdfs配置成功。

启动yarn

在lk节点上执行。

sbin/start-yarn.sh

在slave2节点上面执行

sbin/yarn-daemon.sh start resourcemanager

此时可以看到web界面

网址是：10.113.10.1:8088

显示出集群的信息

如果是打开10.113.10.2:8088，那么会跳转到10.113.10.1的上面

检查一下ResourceManager状态

bin/yarn rmadmin -getServiceState rm1
bin/yarn rmadmin -getServiceState rm2

Wordcount示例测试

#创建一个新的文件test2.txt
vim test2.txt

# 上传
hdfs dfs -put test2.txt /test

# 查看
hdfs dfs -ls /test

#测试
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /test/test2.txt /test/test2_out/

如果上面执行没有异常，说明YARN安装成功。

计算圆周率测试
hadoop jar share/hadoop/mapreducehadoop-mapreduce-examples-2.7.4.jar pi 5 5 计算圆周率PI，任务5个，取样5个

集群关启顺序

在slave2节点上面执行

sbin/yarn-daemon.sh stop resourcemanager

在lk节点上执行

sbin/stop-yarn.sh

关闭HDFS

sbin/stop-dfs.sh

关闭zookeeper

runRemoteCmd.sh "/usr/hadoop/app/zookeeper-3.4.10/bin/zkServer.sh stop" zookeeper

再次启动集群

启动zookeeper

runRemoteCmd.sh "/usr/hadoop/app/zookeeper-3.4.10/bin/zkServer.sh start" zookeeper

启动HDFS

sbin/start-dfs.sh

在lk节点上执行

sbin/start-yarn.sh

在slave2节点上面执行

sbin/yarn-daemon.sh start resourcemanager

至此，hadoop 分布式集群搭建完毕。

查看集群状态

bin/hdfs dfsadmin -report

显示整个集群的信息

Starting namenodes on [slave2 lk]
lk: starting namenode, logging to /usr/hadoop/app/hadoop/logs/hadoop-qsb-namenode-lk.out
slave2: namenode running as process 13351. Stop it first.
slave3: datanode running as process 10874. Stop it first.
slave4: datanode running as process 10773. Stop it first.
slave5: datanode running as process 2446. Stop it first.
Starting journal nodes [lk slave2 slave3 slave4 slave5]
lk: journalnode running as process 8508. Stop it first.
slave4: journalnode running as process 10875. Stop it first.
slave5: journalnode running as process 2548. Stop it first.
slave2: journalnode running as process 13456. Stop it first.
slave3: journalnode running as process 10978. Stop it first.
Starting ZK Failover Controllers on NN hosts [slave2 lk]
lk: zkfc running as process 8795. Stop it first.
slave2: zkfc running as process 13672. Stop it first.
[qsb@lk hadoop]$ /bin/hdfs dfsadmin -report
-bash: /bin/hdfs: No such file or directory
[qsb@lk hadoop]$ bin/hdfs dfsadmin -report
Configured Capacity: 133037051904 (123.90 GB)
Present Capacity: 100757676032 (93.84 GB)
DFS Remaining: 100757311488 (93.84 GB)
DFS Used: 364544 (356 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (3):

Name: 10.113.10.4:50010 (slave4)
Hostname: slave4
Decommission Status : Normal
Configured Capacity: 44345683968 (41.30 GB)
DFS Used: 118784 (116 KB)
Non DFS Used: 10791297024 (10.05 GB)
DFS Remaining: 33554268160 (31.25 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.67%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Nov 05 22:01:14 CST 2017


Name: 10.113.10.3:50010 (slave3)
Hostname: slave3
Decommission Status : Normal
Configured Capacity: 44345683968 (41.30 GB)
DFS Used: 122880 (120 KB)
Non DFS Used: 10496921600 (9.78 GB)
DFS Remaining: 33848639488 (31.52 GB)
DFS Used%: 0.00%
DFS Remaining%: 76.33%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Nov 05 22:01:13 CST 2017


Name: 10.113.10.5:50010 (slave5)
Hostname: slave5
Decommission Status : Normal
Configured Capacity: 44345683968 (41.30 GB)
DFS Used: 122880 (120 KB)
Non DFS Used: 10991157248 (10.24 GB)
DFS Remaining: 33354403840 (31.06 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.21%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Nov 05 22:01:14 CST 2017

出现问题

首先还是推荐看日志，因为很多问题都在日志上写出来了

注意看网上教程的时候要根据自己本机的设置更改文件

我在hadoop配置的时候的问题主要是：

java环境的问题(包括zookeeper和hadoop)
nohup: failed to run command ‘java’: No such file or directory
明明没有问题，为什么报错？
hadoop需要自己再指明java路径，在hadoop-env.sh中
JAVA_HOME=你自己的java路径
zookeeper 启动之后没有QuorumPeerMain进程
看看日志的——就是zookeeper主目录下的zookeeper.out
我当时出现错误的原因是

2017-11-20 08:26:00,090 [myid:] - INFO  [main:QuorumPeerConfig@134] - Reading configuration from: /usr/hadoop/app/zookeeper/bin/../conf/zoo.cfg
2017-11-20 08:26:00,110 [myid:] - INFO  [main:QuorumPeer$QuorumServer@167] - Resolved hostname: 10.113.10.3 to address: /10.113.10.3
2017-11-20 08:26:00,110 [myid:] - INFO  [main:QuorumPeer$QuorumServer@167] - Resolved hostname: 10.113.10.2 to address: /10.113.10.2
2017-11-20 08:26:00,113 [myid:] - INFO  [main:QuorumPeer$QuorumServer@167] - Resolved hostname: 10.113.10.1 to address: /10.113.10.1
2017-11-20 08:26:00,113 [myid:] - INFO  [main:QuorumPeerConfig@396] - Defaulting to majority quorums
2017-11-20 08:26:00,115 [myid:] - ERROR [main:QuorumPeerMain@85] - Invalid config, exiting abnormally

是myid文件出错

重新配置一下就可以了

上传文档的时候，显示是处于安全模式导致无法上传
关闭安全模式：

hdfs dfsadmin -safemode leave

获取安全模式的状态:
hdfs dfsadmin -safemode get