Hadoop之运行环境搭建

5.Hadoop运行环境搭建

1. 登录账户
2. 关闭防火墙
3. 修改IP
4. 修改主机名
5. 配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中
6. 配置ssh免密登录
   • 生成公钥和私钥 ssh-keygen -t rsa
   • 将公钥拷贝到需要免密登录的服务器上
7. 安装JDK
8. 安装Zookeeper
9. 安装Hadoop
10. 配置集群
    • core-site.xml
    • hadoop-env.sh
    • hdfs-site.xml
    • yarn-env.sh
    • yarn-site.xml
    • mapred-env.sh
    • mapred-site.xml
    • 配置slaves
    • 采用脚本在集群上分发以上配置好的配置文件,并查看分发情况
11. 配置环境变量
12. 启动Zookeeper:hdfs zkfc-formatZK
13. 群起并测试集群
    • 启动JournalNode:hadoop-daemon.sh start journalnode
    • 在第一台节点上格式化NameNode:hadoop namenode -format
    • 在第一台节点上启动NameNode:hadoop-daemon.sh start namenode
    • 在第二台节点上格式化NameNode:hdfs namenode -bootstrapStandby
    • 在第二台节点上启动NameNode:hadoop-daemon.sh start namenode
    • 在第一台和第二台上启动zkfc(FailoverController):hadoop-daemon.sh start zkfc
    • 启动DataNode:hadoop-daemon.sh start datanode
    • 启动Yarn:start-yarn.sh
    • 启动ResourceManager:yarn-daemon.sh start resourcemanager
14. 配置时间使集群时间同步
15. 以后再重启集群的话,只需要start-all.sh