3、Hadoop+HBase+Hive+Zookeeper版本兼容问题

hadoop稳定版本选择

 

hadoop决定用比较稳定版本hadoop2.7.1

hadoop2.7.1中与hbase1.2.x兼容。

hbase1.x与hive2.x是兼容的,与hive1.x需要编译。因此这里决定

hbase使用1.x,hive使用2.x

 

hbase稳定版本选择

hbase中目前版本有hbase0.98,1.1.4,1.2.1,

这里面稳定版是hbase1.1.4,但是由于hadoop2.7.1与hbase1.2.x兼容

因此我们决定使用hbase1.2.1

 

hive稳定版本选择

hbase确定之后,我们选择hive稳定版,官网内容如下

我们看到有两个稳定版本

hive1.x的稳定版是hive1.2.1

hive2.x的稳定版是hive2.0.0

由于hbase1.x与hive2.x兼容,我们使用的是hive2.x,所以决定使用hive2.0.0

 

zookeeper稳定版本选择

zookeeper,在hadoop,hbase,hive,zookeeper版本整合兼容性最全,最详细说明【适用于任何版本】中,zookeeper版本一般来讲越高越好。我们这里使用稳定版本我们进入官网

看到zookeeper稳定版本为

zookeeper-3.4.8,所以决定使用zookeeper-3.4.8.tar.gz 

 

注释:官网中stable表示稳定版本

这里我们使用

hadoop2.7.1+hbase1.2.1+hive2.0.0+zookeeper3.4.8

 

当我们想整合hadoop,hbase,hive,zookeeper的时候,如果刚入门,可能认为这是比较简单的问题。但是当你自己真正想整合的时候,却会遇到很多的问题。

1.hadoop与hbase哪些版本兼容?

2.hadoop与hive哪些版本兼容?

3.hbase与hive哪些版本兼容?

4.hbase与zookeeper哪些版本兼容?

 

所以当我们真正想做整合的时候,我们需要解决上面四个问题,有些同学,忽略上面内容,直接部署,导致产生各种问题。

 

第一个问题,hadoop与hbase哪些版本兼容。

这里的每一个问题,当然我们需要引用官网的内容。

上面便是对照表,那么有了这个对照表,还是不行的。为什么因为你还是没有找到源头。如果随着版本更新,我们还是跟无头苍蝇一样,摸不着北。我们该如何能找到,我们该如何随着版本的更新,自己就能找到相关内容。

首先,进入下面网址

http://hbase.apache.org/book.html#arch.overview

,进入之后,我们同样需要会使用浏览器的查找功能,这样能让我们很快的定位。

浏览器的查找功能只要按照ctrl+F即可。这只是一个小技巧,还是比较实用的,然后我们输入

1

"S" = supported

 

这时候你就能找到hbase与hadoop的兼容信息了。如果你还是找不到,有下面两种方式:

1.about云论坛提问,会有比较多的热心人帮助

2.此版本内容会录制视频,欢迎捐助

hadoop生态系统零基础入门及大数据实战第一个问题算是解决,接着我们看第二个问题

 

2.hadoop与hive哪些版本兼容?

 

hadoop与hive版本对应关系

hive版本 2.0.0 支持hadoop版本

 

Hadoop  2.x.y

hive版本 1.2.1 支持hadoop版本

Hadoop 1.x.y, 2.x.y

 

hive版本 1.0.1, 1.1.1 支持hadoop版本

Hadoop 1.x.y, 2.x.y

 

hive版本 1.1.0 支持hadoop版本

Hadoop 1.x.y, 2.x.y

 

hive版本 1.0.0支持hadoop版本

Hadoop 1.x.y, 2.x.y

 

hive版本0.13.1支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

 

hive版本0.13.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

 

hive版本0.12.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

 

hive版本0.11.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

 

hive版本0.10.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

 

那么我们该如何随着版本的更新,知道版本兼容?

收下我们打开下面网址:

网址:http://hive.apache.org/downloads.html

 

快来成为我的朋友或合作伙伴,一起交流,一起进步!
QQ群:961179337
微信:lixiang6153
邮箱:lixx2048@163.com
公众号:IT技术快餐
更多资料等你来拿!

 

  • 1
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop是一个开源的分布式计算平台,Zookeeper是一个用于分布式应用协调和服务发现的分布式系统。HBase是一个分布式的、可伸缩的、面向列存储的数据库。HiveHadoop生态系统中一个用于数据仓库的数据查询与分析工具,它使用HiveQL(HQL)进行查询。 安装这四个工具的步骤如下: 1. 安装Hadoop: - 下载并解压Hadoop的安装包。 - 配置Hadoop环境变量,将Hadoop的bin目录添加到系统的PATH中。 - 修改Hadoop的配置文件,包括core-site.xml、hdfs-site.xml和mapred-site.xml。 - 格式化Hadoop分布式文件系统(HDFS):hadoop namenode -format。 - 启动Hadoop集群:start-all.sh。 2. 安装Zookeeper: - 下载并解压Zookeeper的安装包。 - 创建Zookeeper的数据目录和日志目录。 - 复制Zookeeper的模板配置文件zoo_sample.cfg为zoo.cfg,并配置相关参数。 - 启动Zookeeper服务器:zkServer.sh start。 3. 安装HBase: - 下载并解压HBase的安装包。 - 配置HBase环境变量,将HBase的bin目录添加到系统的PATH中。 - 修改HBase的配置文件,包括hbase-site.xml和hbase-env.sh。 - 启动HBase集群:start-hbase.sh。 4. 安装Hive: - 下载并解压Hive的安装包。 - 配置Hive环境变量,将Hive的bin目录添加到系统的PATH中。 - 修改Hive的配置文件hive-site.xml,包括配置HDFS、ZookeeperHBase的连接参数。 - 启动Hive服务:hive --service metastore。 需要注意的是,这只是简单的安装步骤示例,具体的安装过程可能因操作系统、版本和其他因素而有所不同。在安装过程中,还需要根据实际需求进行一些额外的配置和参数调整。建议按照官方文档或相关教程进行详细的安装和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贝壳里的沙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值