声明
1)该文章整理自网上的大牛和专家无私奉献的资料,具体引用的资料请看参考文献。
2)本文仅供学术交流,非商用。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。
3)博主才疏学浅,文中如有不当之处,请各位指出,共同进步,谢谢。
4)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点点,一起为祖国科研的推进添砖加瓦。
一:实验环境
1.1 服务器上启动三台虚拟机
root@master 11.24.24.111 master
root@slave1 11.24.24.112 slave1
root@slave2 11.24.24.113 slave2
1.2 软件版本:
hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2
修改主机名和hosts
1.1 更改主机名
root@master:~$ sudo vim /etc/hostname
改成master //其他两个分别改为slave1 和slave2
注意:主机名全部以小写字母开头,后文在配置环境时注意不要误用大写!
1.2 修改hosts
root@master:~# sudo vim /etc/hosts
修改hosts 需要将注释的所有127.0.0.1以及locahost 取消注释!!!!不然子节点无法启动
//将原文件(127.0.0.0 localhost)下面添加以下信息:
11.24.24.111 master
11.24.24.112 slave1
11.24.24.113 slave2
//退出后重启虚拟机
root@master:~# sudo reboot
//分别对集群中的所有节点进行以上相似的设置
二:安装基础环境(Java和scala)
对所有节点安装java和scala
2.1 Java环境搭建
1)下载jdk-1.8并解压到 /usr/local
root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
2)添加java环境变量,在/etc/profile中添加:
root@master:~$ sudo vim /etc/profile
export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
3)保存后刷新配置
[root@master ~]# source /etc/profile
4)使用java -version命令确认
[root@master ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)
2.2 scala环境搭建
1)下载scala安装包scala2.13.2.tgz安装到 /usr/local/
root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
root@master:~$ mv scala2.13.2 scala
2)添加Scala环境变量,在/etc/profile中添加:
root@master:~# sudo vim /etc/profile
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH
3)保存后刷新
root@master:~# source /etc/profile
4)使用scala -version命令确认
[root@master ~]# scala -version
Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.
三:ssh无密码验证配置
-对所有节点安装ssh
root@master:~$ sudo yum install ssh
3.1 配置master无密码登录所有slave
以下是在master节点上执行以下命令:
1)在master节点上生成密码对
ubuntu@master:~$ ssh-keygen -t rsa -P ''
// Enter 继续
//生成的密钥对:id_rsa和id_rsa.pub存储在” ~/.ssh”目录下(注意可能会不同)
2)把id_rsa.pub追加到授权的key里面去
root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3)修改ssh配置文件”/etc/ssh/sshd_config”的下列内容
root@master:~$ sudo vim /etc/ssh/sshd_config
追加以下内容:
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile %h/.ssh/authorized_keys
4) 重启ssh服务,才能使刚才设置有效
root@master:~$ shutdown -r now
5) 验证无密码登录本机是否成功。
root@master:~$ ssh master
注意:无密码登录成功后,使用Ctrl+D退出当前登录,防止嵌套登录
6)把公钥复制到所有的Slave机器上
root@master:~$ scp ~/.ssh/id_rsa.pub root@slave1:~/ #注意不能有空格
root@master:~$ scp ~/.ssh/id_rsa.pub root@slave2:~/ #注意直接放在主目录下
可以到slave节点的机器中看一下 ~/.ssh/ 是否多处了一个内容id_rsa.pub
-以下是在slave1 (11.24.24.112)节点的配置操作
1)将Master的公钥追加到Slave1的授权文件”authorized_keys”中去。
root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
2) 修改”/etc/ssh/sshd_config”,具体步骤参考前面Master设置的第3步和第4步。
root@slave1:~/.ssh$ sudo vim /etc/ssh/sshd_config
3)用master使用ssh无密码登录slave1
root@master:~$ ssh 11.24.24.112 或者是 ssh root@slave1
4)把slave节点中的” ~/”目录下的”id_rsa.pub”文件删除掉。
root@slave1:~/.ssh$ rm -r ~/id_rsa.pub
重复上面的4个步骤把Slave2服务器进行相同的配置
3.2 配置slave无密码登录master
-以下是在slave1节点(11.24.24.112)的配置操作。
// 1)创建”Slave1”自己的公钥和私钥,并把自己的公钥追加到”authorized_keys”文件中,执行下面命令:
root@slave1:~/.ssh$ ssh-keygen -t rsa -P ''
root@slave1:~/.ssh$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2)将slave1节点的公钥”id_rsa.pub”复制到Master节点的”/root/”目录下。
root@slave1:~/.ssh$ scp ~/.ssh/id_rsa.pub root@master:~/
以下是在master节点的配置操作
1)将Slave1的公钥追加到Master的授权文件”authorized_keys”中去。
root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
2)删除Slave1复制过来的”id_rsa.pub”文件。
root@slave1:~ $ rm -r ~/id_rsa.pub
// 配置完成后测试从Slave1到Master无密码登录。
root@slave1:~ $ ssh 11.24.24.111
按照上面的步骤把Slave2和Master之间建立起无密码登录。
- 这样,Master能无密码验证登录每个Slave,每个Slave也能无密码验证登录到Master。
四:Hadoop 完全分布式搭建
-以下是在master节点上的操作
1)下载hadoop 并解压到/opt/
root@master:~$ sudo tar -zxvf hadoop.tar.gz -C /opt/
2)修改配置文件,添加以下内容
root@master:~$ sudo vim /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
修改完成后执行:
root@master:~$ source /etc/profile
[root@master hadoop]# mkdir data
[root@master hadoop]# mkdir tmp
[root@master hadoop]# mkdir name
3)修改hadoop的相关配置
修改JAVA_HOME 如下:
root@master:/opt/hadoop $ sudo vim ./etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/java
修改$HADOOP_HOME/etc/hadoop/slaves,将原来的localhost删除,改成如下内容:
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/slaves
slave1
slave2
修改$HADOOP_HOME/etc/hadoop/core-site.xml
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>
修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/hdfs/data</value>
</property>
</configuration>
复制template,生成xml,命令如下:
root@master:/opt/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:19888</value>
</property>
</configuration>
修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
4)复制master节点的hadoop文件夹到slave1和slave2上
scp -r /opt/hadoop root@slave1:/opt
5)在Slave1和Slave2上分别修改/etc/profile,(hadoop的配置信息) 过程同master一样
格式化HDFS [只有首次部署才可使用]【谨慎操作,只在master上操作】
root@master:~$ hadoop namenode -format
启动集群 【只在master上操作】
root@master:~$ /opt/hadoop/sbin/start-all.sh
6)查看三台集群是否启动成功: jps
[root@master sbin]# jps
24673 NodeManager
30547 Jps
21081 NameNode
24331 ResourceManager
23180 SecondaryNameNode
22015 DataNode
[root@slave1 ~]# jps
8323 NodeManager
8759 Jps
8092 DataNode
[root@slave2 ~]# jps
6677 Jps
6266 DataNode
6414 NodeManager
SecondaryNameNode是NameNode的备份,本文将其都配置master节点上。(一般是配置在不同的节点上,以助于主节点挂掉的时候对它恢复)
slave1和slave2都仅作为计算节点(DataNode)
-至此hadoop的完全分布式环境搭建成功。
7)web端11.24.24.111:8088查看
五:Spark 2.1.0完全分布式环境搭建
-以下操作都是在master节点进行
1)下载二进制包spark-3.0.0-bin-hadoop2.7.tgz
2)解压到相应目录
root@master:~$ tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt
root@master:~$ mv /opt/spark-3.0.0-bin-hadoop2.7.tgz /opt/spark
3)修改相应的配置文件
修改/etc/profie,增加如下内容:
root@master:/opt$ sudo vim /etc/profile
export SPARK_HOME=/opt/spark/
export PATH=$PATH:$SPARK_HOME/bin
复制spark-env.sh.template成spark-env.sh
root@master:/opt/spark/conf$ sudo cp spark-env.sh.template spark-env.sh
修改$SPARK_HOME/conf/spark-env.sh,添加如下内容.(标注需要改为自己的版本)
root@master:/opt/spark-2.1/conf$ sudo vim spark-env.sh
export JAVA_HOME=/usr/local/java
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_MASTER_IP=11.24.24.111
export SPARK_MASTER_HOST=11.24.24.111
#export SPARK_LOCAL_IP=11.24.24.112
#export SPARK_LOCAL_IP=11.24.24.113
export SPARK_LOCAL_IP=0.0.0.0
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/spark
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)
复制slaves.template成slaves
root@master:/opt/spark/conf$ sudo cp slaves.template slaves
修改$SPARK_HOME/conf/slaves,在原来的localhost下面改为如下内容:
root@master:/opt/spark/conf$ sudo vim slaves
master
slave1
slave2
(注意,如果不删除之前的localhost,spark搭建完成之后,会出现多个worker)
4)将配置好的spark文件复制到slave1和slave2节点
root@master:/opt$ scp -r /opt/spark root@slave1:~ //拷贝整个目录
root@master:/opt$ scp -r /opt/spark root@slave2:~
root@slave1:~$ sudo mv spark/ /opt
root@slave2:~$ sudo mv spark/ /opt
5)修改slave1和slave2配置。
root@slave1:~$ sudo vim /etc/profile
在slave1和slave2上分别修改/etc/profile,增加Spark的配置,过程同master一样。
export SPARK_HOME=/opt/spark/
export PATH=$PATH:$SPARK_HOME/bin
在save1和save2修改$SPARK_HOME/conf/spark-env.sh
root@master: $ sudo vim /opt/spark-2.1/conf/spark-env.sh
将export SPARK_LOCAL_IP=192.168.110.XXX改成slave1和slave2对应节点的IP
6) 在Master节点启动集群
先启动hadoop,在启动spark
root@master:/opt$ /opt/hadoop/sbin/start-all.sh
root@master:/opt$ /opt/spark/sbin/start-all.sh
7)查看集群是否启动成功:jps
六:引用资料
https://blog.csdn.net/Ashely_Xie/article/details/78608097
https://blog.csdn.net/u014636511/article/details/80171002