云服务器安装完全分布式Hadoop集群

配置IP映射

vi /etc/hosts

配置免密登陆

生成各自的公、私钥

以下语句分别在master，slave01，slave02运行一遍

ssh-keygen -t rsa

slave02，slave03拷贝公、私钥到master

在各机架上输入以下代码

ssh-copy-id slave01
ssh-copy-id slave02
ssh-copy-id slave03

在master输入以下代码：

scp /root/.ssh/authorized_keys slave02:/root/.ssh
scp /root/.ssh/authorized_keys slave03:/root/.ssh

检验免密登陆

ssh slave01
ssh slave02
ssh slave03

安装jdk

创建download和software文件夹

mkdir -p /software
mkdir -p /download

上传文件

1、jdk
2、Hadoop2.7.6
使用xftp上传（比赛时使用wget获取）

解压并更名

cd /software/
tar -zxvf /download/jdk-8u281-linux-x64.tar.gz 
mv jdk1.8.0_281/ jdk

配置profile文件

在末尾输入：

#java
export JAVA_HOME=/software/jdk
export PATH=$JAVA_HOME/bin:$PATH

保存：wq

source /etc/profile

验证

安装Hadoop

解压文件

tar -zxvf /download/hadoop-2.7.6.tar.gz 
mv hadoop-2.7.6/ hadoop

配置profile文件

vi /etc/profile

#hadoop
export HADOOP_HOME=/software/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

按esc+：wq保存

source /etc/profile

验证

Hadoop配置文件设置

cd $HADOOP_HOME/etc/hadoop

配置hadoop-env.sh

vi hadoop-env.sh

配置core-site.xml

vi core-site.xml	

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/software/data/hadoop/tmp</value>
 </property>

按esc+：wq

创建文件夹

mkdir -p /software/data/hadoop/tmp

配置hdfs-site.xml文件

 vi hdfs-site.xml

<property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
 <property>
 <name>dfs.namenode.secondary.httpaddress</name>
 <value>slave01:50090</value>
 </property>

配置mapred-site.xml 文件

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<!-- 指定MapReduce 运行时框架，这里指定在Yarn 上，默认是 local -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

配置yarn-site.xml

vi yarn-site.xml

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>master</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>

配置slaves

vi slaves

master
slave01
slave02

同步文件

scp /etc/profile slave01:/etc/profile
scp /etc/profile slave02:/etc/profile
scp -r /software/ slave01:/
scp -r /software/ slave02:/

格式化namenode

hdfs namenode -format

启动集群

cd /software/hadoop/sbin
./start-all.sh