在安装之前需要先做好以下几点准备:
1.首先准备好三台虚拟机,每台虚拟机都已经安装好JDk环境。
2.确定每台虚拟机的网络连接正常。ssh免密配置完成。
3.确认自己主机的ip地址,主机名。
我的是 master 192.168.174.170
slave1 192.168.174.171
slave2 192.168.174.172
以上任何一点有问题,我的博客都有详细安装教程,供大家参考。
下面我们开始正式安装
1.创建hadoop安装目录
安装在哪自己随意,记住就好,我直接安装在根目录下,便于以后查找,在根目录下
输入命令:mkdir hadoop 注意空格。
然后查看是否创建成功
输入命令:ll
2.传输hadoop安装包
将hadoop安装包传进hadoop目录下,准备安装。使用xftp等软件都可以实现,实在不行用优盘,只要传进来就好。
我的安装包是: hadoop-2.8.5.tar.gz
3.在hadoop安装目录下执行解压操作
输入命令:tar -zxvf hadoop-2.8.5.tar.gz
4.配置hadoop配置文件
输入命令|:cd /hadoop/hadoop-2.8.5/etc/hadoop
输入命令:ll
我们可以看到一系列的配置文件。
5.修改配置文件。
在刚才的目录下(/hadoop/hadoop-2.8.5/etc/hadoop),执行以下五步。将一下各部分内容粘贴到相应配置文件的
这条语句中间就可以。
5.1修改hadoop-env.sh文件
输入命令:vi hadoop-env.sh
回车,按i键之后进入编辑状态,在文件中添加如下内容: export JAVA_HOME=/usr/local/jdk1.8
等号后面是你自己jdk的安装目录。位置不做要求,合适位置,别在#号后面就行。
5.2修改core-site.xml配置文件
首先在根目录下的hadoo下创建一个Hadoopdata文件夹,并在其中在创建一个tmp文件夹。用于代替系统默认的临时文件为夹,否则重启机器会报错,创建完成后
输入命令:vi core-site.xml
修改配置文件core-site.xml的 内容如下(实际修改不需要写中文注释)。
5.3 修改配置文件hdfs-site.xml
在当前目录下 输入命令:vi hdfs-site.xml 添加以下内容
dfs.namenode.http-address
master:50070
dfs.namenode.secondary.http-address
slave1:50090
dfs.replication
3
dfs.name.dir
/hadoop/hadoop-2.4.1/hdfs/name
dfs.data.dir
/hadoop/hadoop-2.4.1/hdfs/data
dfs.namenode.checkpoint.dir
/hadoop/hadoop-2.4.1/hdfs/namesecondary
dfs.webhdfs.enabled
true
dfs.stream-buffer-size
131072
5.4 修改mapred-site.xml文件
在当前目录下查看是否有配置文件mapred-site.xml。目录下默认情况下没有该文件,可通过执行如下命令:mv mapred-site.xml.template mapred-site.xml修改一个文件的命名(已有),然后执行编辑文件命令:vi mapred-site.xml并修改该文件内容
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
5.5修改yarn-site.xml配置文件
在当前目录下执行vi yarn-site.xml并修改配置文件内容如下
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.nodemanager.resource.memory-mb
8192
6.修改环境变量配置文件
输入命令:vim /etc/profile
把hadoop的安装目录配置到环境变量中(已配)。添加标记的两句话
然后让配置文件生效:source /etc/profile。
7.修改文件slaves
在/hadoop/hadoop-2.8.5/etc/hadoop下修改文件slaves
命令:cd /hadoop/hadoop-2.8.5/etc/hadoop
输入命令:vi slaves
在其中添加如下内容(三行)
master
slave1
slave2
8.发送到其datanode节点(slave1和slave2)
进入到hadoop目录下(cd /hadoop)需要将hadoop目录分别远程拷贝到slave1和slave2上
输入命令:scp –r hadoop-2.8.5/ slave1:/hadoop/ 注意slave1前有个空格
输入命令:scp –r hadoop-2.8.5/ slave2:/hadoop/
9.格式化namenode。在master目录下执行如下命令进行格式化
输入命令:hdfs namenode -format
10.启动hadoop
输入命令:start-all.sh。
11.测试
输入命令:jps
查看各节点状态。
master的当前进程包含以下几个:
slave1(同slave2)的当前进程包含以下几个: