5.Hadoop运行环境搭建
- 登录账户
- 关闭防火墙
- 修改IP
- 修改主机名
- 配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中
- 配置ssh免密登录
- 生成公钥和私钥 ssh-keygen -t rsa
- 将公钥拷贝到需要免密登录的服务器上
- 安装JDK
- 安装Zookeeper
- 安装Hadoop
- 配置集群
- core-site.xml
- hadoop-env.sh
- hdfs-site.xml
- yarn-env.sh
- yarn-site.xml
- mapred-env.sh
- mapred-site.xml
- 配置slaves
- 采用脚本在集群上分发以上配置好的配置文件,并查看分发情况
- 配置环境变量
- 启动Zookeeper:hdfs zkfc-formatZK
- 群起并测试集群
- 启动JournalNode:hadoop-daemon.sh start journalnode
- 在第一台节点上格式化NameNode:hadoop namenode -format
- 在第一台节点上启动NameNode:hadoop-daemon.sh start namenode
- 在第二台节点上格式化NameNode:hdfs namenode -bootstrapStandby
- 在第二台节点上启动NameNode:hadoop-daemon.sh start namenode
- 在第一台和第二台上启动zkfc(FailoverController):hadoop-daemon.sh start zkfc
- 启动DataNode:hadoop-daemon.sh start datanode
- 启动Yarn:start-yarn.sh
- 启动ResourceManager:yarn-daemon.sh start resourcemanager
- 配置时间使集群时间同步
- 以后再重启集群的话,只需要start-all.sh