hadoop 版本问题

最近在研究hadoop時,發現hadoop的版本很混亂。原來的版本都說0.X.X開始,後來發現有1.X.X和2.X.X 這样就不太清楚了。

0.20.2版本以前(不含該版本)的配置文件都在default.xml中。

0.20.x以後的版本不含有eclipse插件的jar包,由於eclipse的版本不一,所以就需要自己編譯源碼生成對應的插件。

0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml、 conf/hdfs-site.xml  和 conf/mapred-site.xml. 中。

0.23.x 版本有添加了yarn技術,配置文件集中在  conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml.這4個文件上,好像技術變化比較大,但修改了什麼技術我不清楚,希望有大俠解答。同時他也對目錄的更新做了相應的變化(仿linux),目錄結構更加的清晰了然。

也許正式0.23.x版本的變化比較大,也許修改或添加了新的技術。讓很多基於hadoop的一些插件難以兼容,如hive、hbase、pig等都基於0.23.x以前的版本。然而以前的版本又要更新,所以在更新版本上不知道使用什麼版本編號?

所以apache就開始統一版本號,這样從版本號就可以區分hadoop的功能。

0.22.x 直接升級到1.0.0 

0.23.x 直接升級到2.0.0

這样就把hadoop分为兩個版本 1和2 

1版本:主要基於原來的技術的升級和發展,同時支持其它技術的支持。如果想用hbase、hive等技術就只有選擇 版本1

2版本:主要基於新技術的推廣和發展,如果只是基於hadoop開發,這個是一個很好的選擇。

以上只代表個人的理解和觀點,同時也只對版本的變化表面說明,最技術上的變化就不懂了!

Ok ,希望能给你帶來點收獲,如果不對,就不要往心裏去,這样會誤導你。高人指點。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值