Hadoop搭建

Hadoop节点的搭建
1.修改用户名:
进入 cd /etc/sysconfig/network
将localhost修改为node1
2.重启虚拟机
命令:reboot 或者 shutdown -r 0
3.关闭防火墙
命令:service iptables stop
4.安装jdk、配置环境变量,测试
(1):jdk安装命令:rpm -ivh jdk
(2):安装之后到 /usr/java/jdk1.8.0_171-amd64 目录查看
(3):打开文件进行修改
命令: vi /etc/profile
(4):使用source /etc/profile命令使文件运行
5.安装Hadoop
命令:安装Hadoop2.6.5 tar-zxvf had… -C /opt/
(had…是指文件的全称)
6.(1):配置Hadoop环境变量
(在linux任意位置都可以使用hadoop命令)
命令:vi /etc/profile
在这里插入图片描述
(2):使用source /etc/profile命令使文件运行
7.修改hosts文件,在里面添加
192.168.x.x node1(写centos6的地址)
命令:vi /etc/hosts
8.免秘钥配置

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建Hadoop的高可用(HA)环境,你需要考虑以下几个步骤: 1. 配置Hadoop集群:确保你已经成功地设置了一个Hadoop集群,并且所有节点都能够正常通信。 2. 配置ZooKeeper:HA模式下,Hadoop使用ZooKeeper来进行主节点的选举和故障切换。你需要安装和配置ZooKeeper集群。 3. 修Hadoop配置文件:在core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件中,进行如下修: - 在core-site.xml中,指定ZooKeeper的地址。 - 在hdfs-site.xml中,设置HA相关的属性,如nameservice、namenode、journalnode等。 - 在yarn-site.xml中,设置ResourceManager的高可用属性。 4. 启动JournalNodes:JournalNodes用于存储HDFS的元数据日志,并确保数据的一致性。启动JournalNodes之前,需要在hdfs-site.xml中指定JournalNode的地址。 5. 格式化NameNode:使用`hdfs namenode -format`命令格式化NameNode。这将创建一个新的命名空间并为HA做准备。 6. 启动NameNode和DataNode:启动NameNode时,指定HA相关的配置参数,并确保DataNode也能够正常启动。 7. 启动ResourceManager和NodeManager:启动ResourceManager时,同样要指定HA相关的配置参数,并确保NodeManager也能够正常启动。 8. 进行故障切换测试:通过停止当前的Active节点,触发故障切换,验证HA环境是否正常工作。 以上是搭建Hadoop的高可用环境的基本步骤,具体的配置细节和命令可能会根据你的环境和需求有所不同。请确保在进行任何配置更之前备份重要数据,并参考官方文档或相关资源获取更多详细信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值