Hadoop分布式集群搭建过程问题总结

1、使用ll命令和chown命令对zookeeper文件的拥有者进行修改后，在普通用户hadoop下启动zookeeper，但是报一下错误：

 

[hadoop@Slave1 zookeeper]$ bin/zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... bin/zkServer.sh: line 113: /usr/local/zookeeper/zkdata/zookeeper_server.pid: Permission denied

FAILED TO WRITE PID

[hadoop@Slave1 zookeeper]$

主要错误点是：Permission denied FAILED TO WRITE PID，字面意思是没有写权限。

接下来，使用chmod命令增加权限，再次启动，成功：

 

[hadoop@Slave1 local]$ su

Password:

[root@Slave1 local]# chmod a+xwr zookeeper/

[root@Slave1 local]# exit

exit

[hadoop@Slave1 local]$ cd zookeeper/

[hadoop@Slave1 zookeeper]$ bin/zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

2、节点规划时 journalnode和zookeeper要保持奇数个，namenode2个，resourcemanager2个。

3、deploy.sh的脚本工具是用来统一将下载配置好的软件分发到各个节点上，runRemoteCmd是用来同时启动各节点的。

4、

1. runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

 

[hadoop@djt11 hadoop]$ sbin/start-dfs.sh

[hadoop@djt11 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

5、集群的数量由哪些决定？

1）数据量：是一定时期内的数据，要有一个预测，而不是现在的数据。

                       副本的个数

                       除了实际数据之外，要考虑日志数据 临时数据（20-30%），还有处理的空间（20-30%）

2）每台机器的性能：处理的速度

3）非功能需求：数据的排序，数据的导入，数据清洗时间。可靠性，容错性

6、pid一般是放在临时目录里的，我们可以配置放在一个目录里面，防止非正常关机无法正常关闭开启集群。

7、第一步时间同步操作完，但是第一天没搭建完，第二天再启动机器，发现时间不一致了。为什么？

      可以用service ntpt status 看一下，如果没有启动，则service ntpt start   再ntpdate pool.ntp.org