CentOS7下配置Hadoop集群和Zookeeper集群

本文档详细介绍了在CentOS7环境下,如何配置Hadoop 2.9.0集群和Zookeeper 3.4.6集群。包括下载解压安装文件、修改配置文件(如添加JDK环境、配置HDFS、YARN、Zookeeper等)、格式化HDFS、启动和测试集群。主要步骤涉及namenode、secondaryNameNode、DataNode、ResourceManager、NodeManager以及Zookeeper的myid配置和集群启动等。
摘要由CSDN通过智能技术生成

1.版本

  1. centos7 64位,VM虚拟机12.0,jdk 1.8.0
  2. hadoop 2.9.0
  3. zookeeper 3.4.6

2.Hadoop集群的配置

0. 下载解压安装文件
  1. 解压命令tar -xzvf 压缩文件名 文件夹路径
1. 修改hadoop-env.sh添加jdk环境

export JAVA_HOME=/usr/java/jdk1.8.0_144
文件本身含有”export JAVA_HOME=”部分”

2. 修改core-site.xml文件添加namenode的url和端口号以及临时存储文件夹
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

运行hdfs需要将一台机器指定为namenode,属性fs.defaultFS描述hdfs文件系统的uri,默认端口是8020,会与其他组件冲突,需修改为9000

<!--指定hadoop运行时产生文件的存储路径-->
<property>
<name>hadoop.tmp.dir</name>
<value</
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值