Hadoop-apache版本部署以及CDH版本部署

apache版本

伪分布式

namenode和resourceManager在一台机器上

完全分布式

需要配置高可用
namenode和resourceManager在一台机器上都有两个
分布在不同的机器上
一个namenode宕机,另外一个从standBy转为active
resourceManager同理


CDH版本

编译

由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,
但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口,
我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题

编译环境

1、linux环境、内存至少4G,硬盘40G以上,64位操作系统
2、关闭防火墙以及selinux
3、JDK1.7
4、maven
5、findbugs
6、
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
yum install -y  bzip2-devel
7、protobuf
8、snappy

常见编译错误

An Ant BuildException has occured: exec returned: 2
这是因为tomcat的压缩包没有下载完成,
需要自己下载一个对应版本的apache-tomcat-6.0.53.tar.gz的压缩包
放到指定路径下面去即可
这两个路径下面需要放上这个tomcat的 压缩包

CDH版本Zookeeper环境搭建

和 apache版本一样

CDH版本Hadoop环境搭建

和apache版本一样
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值