最近在学习Hadoop,原本是在win10系统下装个虚拟机,在虚拟机上装的是CentOS操作系统,在该虚拟机上搭建好Hadoop环境之后,在学习WordCount的案例时,发现系统太慢了,还老是卡机,最后果断放弃使用虚拟机,转而使用Ubuntu操作系统(我的笔记本装了双系统:win10和Ubuntu16.04.5)。
备注:
1)、Hadoop版本选择
Hadoop目前有三个版本,分别为:apache hadoop、CDH(Cloudera Distributed Hadoop)、HDP(Hortonworks Data platform)。其中apache hadoop在使用过程中会存在JAR包冲突的问题,一般适合学习使用;CDH具有容易升级、不存在jar包冲突的问题,商业中使用该版本的比较多,学习中也优先选择;HDP存在升级和删除节点困难,一般也是用于商业。因此,我选择的是CDH版本。
2)、在搭建hadoop的环境过程中,主要参考了这篇博文Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境) 和官方文档
3)、Hadoop cdh的下载地址:点击这里 ,我选择的是hadoop-2.6.0-cdh5.7.0
一、准备
根据hadoop官方文档的要求,配置hadoop的前置要求是安装Java JDK和SSH,因此首先安装jdk和ssh,为安装hadoop做准备。
图片.png
1.1 创建