Hadoop安装(CentOS7版)

本文详细介绍了在CentOS7上安装Hadoop的步骤,包括Hadoop三大发行版本简介、安装JDK和配置ssh无密码登录、下载CDH发行版、解压并配置环境变量、配置Hadoop相关XML文件、HDFS格式化和启动,以及解决防火墙和进程启动问题。
摘要由CSDN通过智能技术生成

1. Hadoop三大发行版本简介

1)Apache Hadoop
官网:http://hadoop.apache.org/
最原始的版本,所有发行版均基于这个版本进行改进,不推荐使用,不稳定且有版本冲突等问题。
2)Cloudera Hadoop(Cloudera’s Distribution Including Apache Hadoop,简称:CDH)
3)Hortonworks Hadoop(Hortonworks Data Platform,简称:HDP)

两家大数据先驱Cloudera和Hortonworks公司合并后推出了新的统一的大数据平台CDP,但CDH和HDP仍可以到它们的官网去下载。

其中CDH还可以通过以下链接下载:
CDH5:http://archive.cloudera.com/cdh5/cdh/5/
CDH6:https://archive.cloudera.com/cdh6/

三者比较:

Apache Hadoop CDH HDP
管理工具 手动 Cloudera Manager Ambari
收费情况 开源 社区版免费,企业版收费 免费

两家大数据先驱Cloudera和Hortonworks于2018年10月宣布了双方称之为相对平等的合并,表示要创建世界领先数据平台。正式合并完成后Cloudera推出了新的统一的大数据平台CDP(Cloudera Data Platform),它也是Cloudera新兴的“企业数据云”战略的核心。同时宣布的还有他们将继续支持现有的CDH和HDP平台一直到2022年,同时在这3年对现有的产品还会进行交叉组合。-- 引自

2. Hadoop安装前置要求

2.1 安装JDK1.8+ (教程)

由于Hadoop由Java编写,所以需要Java环境支持。

2.2 ssh无密码登录部署 (教程)

Hadoop集群主从节点通信每次都要登录操作,这样肯定是不行的,所以要配置ssh无密码登录。

3. Hadoop CDH发行版下载

本文使用的Hadoop版本为hadoop-2.6.0-cdh5.15.1。如需要其它Hadoop生态的软件记得也要使用对应后缀的版本,例:hive-1.1.0-cdh5.15.1

CDH相关软件包下载地址:http://archive.cloudera.com/cdh5/cdh/5/

方式一:

Linux Hadoop下载命令:

wget http://archive.cloudera.com
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值