hadoop2.8配置_Hadoop2.8 安装

一、下载Hadoop与java

jdk-8u221-linux-x64.tar.gz  Oracle官网下载

hadoop-2.8.5.tar.gz   Hadoop官网下载

二、配置服务期间ssh免密互通

使用如下互信安装脚本

https://www.cnblogs.com/xibuhaohao/p/11772047.html

三、配置服务期间时钟同步服务

略

四、解压安装Hadoop文件与Java

1、解压缩(每个结点都要做)

1)安装Java

2)安装Hadoop

新建Hadoop用户

2、配置结点环境变量

cat .bash_profile

添加如下：

export JAVA_HOME=/usr/java/jdk1.8.0_221

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/jre/bin:$PATH

export HADOOP_HOME=/home/hadoop/hadoop-2.8.5

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

五、修改配置文件

cd /home/hadoop/hadoop-2.8.5/etc/hadoop

1、core-site.xml

fs.defaultFS

hdfs://data0:9000

io.file.buffer.size

4096

hadoop.tmp.dir

/home/hadoop/hadoop-2.8.5/tmp

2、hdfs-site.xml

dfs.replication

3

dfs.namenode.name.dir

/home/hadoop/hadoop-2.8.5/hdfs/name

dfs.datanode.data.dir

/home/hadoop/hadoop-2.8.5/hdfs/data

dfs.http.address

data0:50070

dfs.webhdfs.enabled

true

dfs.permissions

false

3、mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

data0:10020

mapreduce.jobhistory.webapp.address

data0:19888

4、yarn-site.xml

yarn.resourcemanager.hostname

data0

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.address

data0:8032

yarn.resourcemanager.scheduler.address

data0:8030

yarn.resourcemanager.resource-tracker.address

data0:8031

yarn.resourcemanager.admin.address

data0:8033

yarn.resourcemanager.webapp.address

data0:8088

六、启动Hadoop

1、初始化Namenode

hadoop namenode -format

2、开启namenode

./sbin/hadoop-daemon.sh start namenode

开启后使用jps验证

3、启动集群

./sbin/start-all.sh

4、查看集群个资源是否启动

jps

1)namenode

2)datanode1

3)datanode2

七、网页登录

1、namenode

data0:50070

2、Hadoop

data0:8088