hadoop使用常出现的问题

1.再次格式化namenode以后，DataNode不能正常启动：

     原本已经可以正常启动的hdfs，在一次重新使用hdfs namenode -format后不能正常启动，表现为master节点上使用jps命令能正常看到所有的进程，而其他节点上jps命令显示没有DataNode进程。

    原因：namenode格式化以后会造成namenode的clusterID与DataNode的clusterID不一致，所以无法正常启动。

    解决：把namenode所在的master节点上的dfs.name.dir路径下的current文件夹下的VERSION文件复制到所以DataNode节点，就可以重新使用。

2.启动zookeeper，使用jps看的见进程，而使用zkServer.sh status看不到：

     首先原因是多种多样的

  （1）先把所有节点启动起来，再使用这个命令。由于ZooKeeper集群启动的时候，每个结点都试图去连接集群中的其它结点，先启动的肯定连不上后面还没启动的，所以再没有启动完时输入status命令不一定能看到znode Mode即使配置没有错。

  （2）查看conf中zoo.cfg的各项配置，如dataDir和dataLogDir的路径是否正确，dataDir下是否创建了myid，myid中的数字是否与server.x对应。

  （3）查看防火墙状态，service iptables status。把防火墙关掉，我使用systemctl disable firewalld

  （4）还不行的话就将/etc/hosts下的127.0.0.1这一行注释掉。

  （5）进入zookeeper安装目录下的bin目录，查看zookeeper.out的日志内容查找错误原因，再进行解决。

3.使用hadoop jar命令时报出Not a valid JAR错误：

     可能是运行了hdfs上的jar包，而非本地文件系统的jar包

    命令使用：hadoop  jar  /本地文件系统目录/xxx.jar  主类名称  输入路径  输出路径

    输出路径文件夹要不存在，不然会抛出FileAlreadyExistsException: Output directory output already exists错误

4.Hive安装（包含mysql安装）：

    http://dblab.xmu.edu.cn/blog/1080-2/

5.Sqoop安装：

    http://dblab.xmu.edu.cn/blog/install-sqoop1/