1. Hadoop三大发行版本简介
1)Apache Hadoop
官网:http://hadoop.apache.org/
最原始的版本,所有发行版均基于这个版本进行改进,不推荐使用,不稳定且有版本冲突等问题。
2)Cloudera Hadoop(Cloudera’s Distribution Including Apache Hadoop,简称:CDH)
3)Hortonworks Hadoop(Hortonworks Data Platform,简称:HDP)
两家大数据先驱Cloudera和Hortonworks公司合并后推出了新的统一的大数据平台CDP,但CDH和HDP仍可以到它们的官网去下载。
其中CDH还可以通过以下链接下载:
CDH5:http://archive.cloudera.com/cdh5/cdh/5/
CDH6:https://archive.cloudera.com/cdh6/
三者比较:
Apache Hadoop | CDH | HDP | |
---|---|---|---|
管理工具 | 手动 | Cloudera Manager | Ambari |
收费情况 | 开源 | 社区版免费,企业版收费 | 免费 |
两家大数据先驱Cloudera和Hortonworks于2018年10月宣布了双方称之为相对平等的合并,表示要创建世界领先数据平台。正式合并完成后Cloudera推出了新的统一的大数据平台CDP(Cloudera Data Platform),它也是Cloudera新兴的“企业数据云”战略的核心。同时宣布的还有他们将继续支持现有的CDH和HDP平台一直到2022年,同时在这3年对现有的产品还会进行交叉组合。-- 引自
2. Hadoop安装前置要求
2.1 安装JDK1.8+ (教程)
由于Hadoop由Java编写,所以需要Java环境支持。
2.2 ssh无密码登录部署 (教程)
Hadoop集群主从节点通信每次都要登录操作,这样肯定是不行的,所以要配置ssh无密码登录。
3. Hadoop CDH发行版下载
本文使用的Hadoop版本为hadoop-2.6.0-cdh5.15.1
。如需要其它Hadoop生态的软件记得也要使用对应后缀的版本,例:hive-1.1.0-cdh5.15.1
。
CDH相关软件包下载地址:http://archive.cloudera.com/cdh5/cdh/5/
方式一:
Linux Hadoop下载命令:
wget http://archive.cloudera.com