在大数据技术的学习当中,关于Hadoop系统的学习无疑是非常重要的一部分,而学习Hadoop的第一步,通常需要从HDFS开始学起,要进行HDFS的操作实践,首先就需要安装好Hadoop。下面我们就来为大家分享一下如何安装Hadoop。
Hadoop目前主要有三种安装模式,包括本地模式、伪分布式模式、全分布式模式,三种模式的安装有难易差别,操作使用上也有不同的限制。
本地模式是最简单的一种,只需要一台虚拟机,修改一个配置文件,但在使用上,只能使用yarn来测试mapreduce程序;
伪分布模式,也是在一台虚拟机的基础上实现,但是需要修改5个配置文件,安装好之后,可以使用HDFS、Yarn,可以运行mapreduce程序;
全分布模式,则是最接近企业开发环境的安装模式,需要至少三台虚拟机,每台都需要安装Hadoop并且修改6个配置文件,可以使用Hadoop的全部的功能。
今天我们先从最简单的本地模式开始。
第一步:安装JDK。
Hadoop是Java语言编程的,运行在Linux环境当中,所以安装Hadoop的第一步先需要在Linux虚拟机上安装JDK。一般在Oracle官网下载Linux版本的JDK,上传到Linux虚拟机上,执行tar-zxvf jdkxxxx.tar.gz解压到当前目录。
需要注意的是,JDK只要是1.8以上,64位的就可以,小版本差异无需在意,但是一定要是64位,这一点需要和后面使用的hadoop的版本相互对应,位数不同后期安装会报错。
第二步:下载Hadoop。
Hadoop直接在官网上去下载就可以,下载完之后将压缩包上传至虚拟机Linux系统上。
第三步:安装Hadoop。
执行tar-zxvf hadoop-2.7.3.tar.gz命令,解压hadoop到当前目录。
同jdk一样,将hadoop的bin目录和sbin目录添加到环境变量。
执行命令vim/etc/profile,在文件末尾追加如下内容:
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
执行source/etc/profile命令,使修改的配置立即生效。
第四步:修改配置文件。
最后就是需要修改配置文件了,Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop目录下。
本地模式,只需要修改一个配置文件:hadoop-env.sh。
用vim或vi打开hadoop-env.sh修改修改JAVA_HOME,保存退出。
至此,本地模式就搭建好了。
关于如何安装Hadoop,以上就是一个简单的过程介绍了,需要注意的是,这里介绍的是本地模式,也是最简单的一种模式,在Hadoop的后续学习当中,还会涉及到伪分布式模式,这是学习阶段需要掌握的,后续我们还会再做介绍。