hadoop集群搭建

本机基本配置（hadoop配置要求）

网卡配置

配置主机名（自己给自己起一个名字）

修改host映射（方便多台机器之间互传资料）

关闭防火墙

克隆之后记得删除多余的网卡

重启电脑，使网卡生效

其他俩台机器按照上面重新操作一遍

记得修改对应的内容（hadoop02   hadoop03）

免密登陆SSH

安装免密登录客户端：yum  install  -y  openssh-clients

生成公钥跟私钥：ssh-keygen

发送公钥跟私钥：ssh-copy-id  spark01

注意：不紧要给别人发，也给自己发一份

jdk安装

1：把文件上传到linux

2:解压文件到安装目录   tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/

3:配置环境变量   vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_102

export PATH=$PATH:$JAVA_HOME/bin

5:source /etc/profile

安装hadoop

1 HADOOP安装部署

• 上传HADOOP安装包
• 规划安装目录  /usr/local/hadoop-2.7.3
• 解压安装包
• 修改配置文件  /usr/local/hadoop-2.7.3/etc/hadoop/

最简化配置如下：

vi  hadoop-env.sh

# The java implementation to use. export JAVA_HOME=/usr/local/jdk1.8.0_102

vi  core-site.xml  

Namenode在哪里 ，临时文件存储在哪里 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.7.3/tmp</value> </property> </configuration>

vi  hdfs-site.xml

<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop-2.7.3/data/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop-2.7.3/data/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.secondary.http.address</name> <value>hadoop01:50090</value> </property> </configuration>

Mv  mapred-site.xml.tmp* mapred-site.xml

vi  mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

vi  yarn-site.xml

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

vi  slaves

hadoop02 hadoop03

Hadoop的path

把第一台安装好的jdk和hadoop以及配置文件发送给另外两台

hosts文件

jdk安装后的文件夹

Hadoop安装后的文件夹

/etc/profile 文件

eg:scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

4.1.7 启动集群

初始化HDFS(在hadoop01进行操作)（操作一次就ok）

在hadoop01号机子上执行

hadoop  namenode  -format

一键启动在hadoop01号机子上执行：start-all.sh

去windows下去改变映射关系

C/windows/system32/drivers/etc/hosts

4.1.9 通过网页查看