hadoop版本变迁

这篇博客探讨了Hadoop版本的混乱情况,从0.20.2到0.23.x的配置文件变化,特别是0.23.x引入了YARN技术。Hadoop随后分为1.x和2.x两个主线,1.x侧重于原有技术升级和对HBase、Hive等的兼容,2.x则专注于新技术推广。作者提醒,版本选择应根据具体需求和技术支持来决定。
摘要由CSDN通过智能技术生成

最近在研究hadoop时,发现hadoop的版本很混乱。原来的版本都说0.X.X开始,后来发现有1.X.X和2.X.X 这样就不太清楚了。

0.20.2版本以前(不含该版本)的配置文件都在default.xml中。

0.20.x以后的版本不含有eclipse插件的jar包,由于eclipse的版本不一,所以就需要自己编译源码生成对应的插件。

0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml、 conf/hdfs-site.xmlconf/mapred-site.xml. 中。

0.23.x 版本有添加了yarn技术,配置文件集中在 conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml.这4个文件上,好像技术变化比较大,但修改了什么技术我不清楚,希望有大侠解答。同时他也对目录的更新做了相应的变化(仿linux),目录结构更加的清晰了然。

也许正式0.23.x版本的变化比较大,也许修改或添加了新的技术。让很多基于hadoop的一些插件难以兼容,如hive、hbase、pig等都基于0.23.x以前的版本。然而以前的版本又要更新,所以在更新版本上不知道使用什么版本编号࿱

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值