三台虚拟机之间配置hadoop分布式系统(HA机制-zookeeper)

用别人的东西好用,自己配的时候,就是坑,这篇博客,记录自己配置三台虚拟机(ha机制,zookeeper和hive)时躺的坑;首先交代一下,虚拟机使用的ubuntu14的lts版本,真心觉得还是centos好用,不会有很多的坑,但是我的台式机配置三台centos,实在没法跑起来,所以就放弃了,偶尔发现有之前大神调教好的ubuntu虚拟机,加上本人本身用ubuntu比较多,果断选择,不负我所望,速度也还可以。

ubuntu14-lts,hadoop-2.6.0,zookeeper使用的是3.4.5版本;配置虚拟机hadoop1,hadoop2,hadoop3。先配置虚拟机静态ip,这个过程我就不放了,交代一下(nat桥接,配置ip和静态网关),我的hadoop1(192.168.1.160),hadoop2(192.168.1.161),hadoop(192.168.1.162)。直接配置hadoop;

1.首先下载hadoop-2.6.0.tar.gz,千万注意,首先想好你想以那种身份来运行hadoop集群,(一旦确定后就不要改了,linux不得不说身份管理特别严格,如果不同身份配置,会有各种问题,因为这个问题,我这几天反复配置了数遍hadoop,之前师兄有句话,一切liunx运行问题,皆可以转化为权限,不无道理),这里选的是非root用户,home/fuleying

tar -zxvf hadoop-2.6.0.tar.gz

2.解压后,先改动hadoop-env.sh(这个配置hadoop的java运行环境)

export JAVA_HOME=/usr/lib/java/jdk1.8.0_45

3.然后分别改动core-site.xml(hadoop的核心配置文件)、hdfs-site.xml(设定hdfs的ns和namenode)、mapred-site.xml(设置MapReduce的运行机制)、yarn-site.xml(yarn运行机制)

①.core-site.xml

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.di
  • 11
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值