hadoop集群搭建

一：解压jdk

使用命令：tar -zxvf /opt/jdk 

二：配置环境变量

使用命令：vi /etc/profile

在最后面写入

export JAVA_HOME=/opt/jdk

export PATH=$PATH:$JAVA_HOME

三：分发环境变量

scp /etc/profile root@slave:/etc/

四：使用命令source /etc/profile 

刷新环境变量

五：分发jdk文件

scp -r /opt/jdk root@slave:/opt

六：解压hadoop文件

tar -zxvf /opt/hadoop

七：配置hadoop环境变量

export HADOOP_HOME=/opt/hadoop

exportPATH= $PATH:$HADOOP_HOME/sbin

:$HADOOP_HOME/bin

八：刷新

source /etc/profile

九：进入etc下hadoop路径

cd /opt/hadoop/etc/hadoop

十：修改hadoop的JAVA_HOME以及yarn的JAVA_HOME

vi hadoop-env. sh

export JAVA_HOME=${JAVA_HOME}将此代码改为export JAVA_HOME=/opt/jdk

vi yarn-env. sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/将该条代码改为

export JAVA_HOME=/opt/jdk

十一：修改全局变量

vi core-site. xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/hdfs/tmp</value>

</property>

</configuration>

十二：HDFS参数配置

vi hdfs-site. xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop/hdfs/data</value>

</property>

</configuration>

十三：设置YARN核心参数

vi yarn-site. xml

<configuration>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

十四：设置计算框架参数

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

十五：
设置节点文件，按要求设置master为主节点；slaver1,slaver2,或slaver为子节点
vi slaves
删除localhost 填入以下内容
master
slave
或(vi slaves
master
slave1
slave2)

十六：分发配置好的hadoop文件

scp -r /opt/hadoop root@slave:/opt

十七：在两台虚拟机中/root下创建hadoopdata目录
mkdir hadoopdata

十八：初始化

以下操作都在master中执行

hdfs namenode -format

报错执行rm -rf hdfs

未报错执行start-all. sh启动