linux 安装 hadoop2.6,centos7安装hadoop2.6.1，详细教程

1.我搭建的是三台centos7的环境 首先准备三个centos7(文中出现的所有的链接都是我自己的)

centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码：05mi

2.安装完成后需要修改ip,都改为静态的ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33(有可能不是ifcfg-ens33,自行判断)，以下是我的配置，你们可以参考下

BOOTTPROTO必须改为static，NETMASK，GATEWAY，BROADCAST根据自己的虚拟网络编辑器修改

三台虚拟机都需要配置 我的三台机器是

master:192.168.111.10  master

slave1:192.168.111.11   slave1

slave2:192.168.111.12   slave2

设置完毕后ping下网络

3.修改hostname

https://www.cnblogs.com/zhangjiahao/p/10990093.html

4.安装java环境(jdk)

https://www.cnblogs.com/zhangjiahao/p/8551362.html

5.配置多个虚拟机互信(免密登录)

https://www.cnblogs.com/zhangjiahao/p/10989245.html

6.安装配置hadoop

(1)下载

链接：https://pan.baidu.com/s/1m0IXN1up0nk2rxDUMgEC-g

提取码：mhxa

(2)上传解压

rz  选择你的文件进行上传

tar -zxvf 刚才上传的包进行解压

(3)配置

打开hadoop下的etc  找到hadoop-env.sh和yarn-env.sh 在里面添加JAVA_HOME=/usr/local/src/java1.8.0_172(你的jdk安装路径)

编辑core-site.xml：

fs.default.name

hdfs://master:9000

hadoop.tmp.dir

file:/usr/local/src/hadoop-2.6.1/tmp

编辑hdfs-site.xml：

dfs.namenode.secondary.http-address

master:9091

dfs.namenode.name.dir

file:/usr/local/src/hadoop-2.6.1/dfs/name

dfs.datanode.data.dir

file:/usr/local/src/hadoop-2.6.1/dfs/data

dfs.replication

3

编辑mapred-site.xml：

mapreduce.framework.name

yarn

编辑yarn-site.xml：

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

master:8032

yarn.resourcemanager.scheduler.address

master:8030

yarn.resourcemanager.resource-tracker.address

master:8031

yarn.resourcemanager.admin.address

master:8033

yarn.resourcemanager.webapp.address

master:8088

7.将hadoop配置分发到各个节点

scp -r hadoop2.6.1 [email protected]:/usr/local/src

scp -r hadoop2.6.1 [email protected]:/usr/local/src

8.将环境变量的配置分发到各个节点

scp -r /etc/profile [email protected]:/etc

scp -r /etc/profile [email protected]:/etc

9.配置生效

source /etc/profile

10.在主节点初始化集群

cd/hadoop2.6.1/sbin

hadoop namenode -format

11.启动集群,查看集群是否正常

./start-dfs.sh　　　　./start-yarn.sh

12.查看

hadoop fs -ls /

到hadoop的根目录下  cd /etc/

touch   1.txt

echo 123456 > 1.txt

cat 1.txt

hadoop fs -put 1.txt /

原文：https://www.cnblogs.com/zhangjiahao/p/10992171.html