Centos7+JDK1.8+Scala2.11+Hadoop2.8+Spark2.2+ZooKeeper3.4 集群搭建

最新推荐文章于 2023-08-06 23:03:53 发布

ZITT

最新推荐文章于 2023-08-06 23:03:53 发布

阅读量574

点赞数 2

文章标签： Centos7 Hadoop Spark ZooKeeper

本文链接：https://blog.csdn.net/qq_41582826/article/details/100526993

版权

本文详细记录了在Centos7环境下，如何搭建JDK1.8、Scala2.11、Hadoop2.8、Spark2.2和ZooKeeper3.4的集群。包括集群规划、安装准备、JDK和Scala的安装、虚拟机克隆、防火墙关闭、免密登录、时间同步等关键步骤，最后验证各组件安装及运行情况。

摘要由CSDN通过智能技术生成

机器名称	spark1	spark2	spark3	spark4
IP	192.168.80.151	192.168.80.152	192.168.80.153	192.168.80.154
节点类型	Hadoop的namenode节点，Spark的master节点	Hadoop的datanode节点，Spark的slave节点	Hadoop的datanode节点，Spark的slave节点	Hadoop的datanode节点，Spark的slave节点
JAVA_HOME	/usr/local/java/jdk1.8.0_221	/usr/local/java/jdk1.8.0_221	/usr/local/java/jdk1.8.0_221	/usr/local/java/jdk1.8.0_221
SCALA_HOME	/usr/local/scala/scala-2.11.12	/usr/local/scala/scala-2.11.12	/usr/local/scala/scala-2.11.12	/usr/local/scala/scala-2.11.12
HADOOP_HOME	/usr/local/hadoop/hadoop-2.8.2	/usr/local/hadoop/hadoop-2.8.2	/usr/local/hadoop/hadoop-2.8.2	/usr/local/hadoop/hadoop-2.8.2
SPARK_HOME	/usr/local/spark/spark-2.2.0-bin-hadoop2.7	/usr/local/spark/spark-2.2.0-bin-hadoop2.7	/usr/local/spark/spark-2.2.0-bin-hadoop2.7	/usr/local/spark/spark-2.2.0-bin-hadoop2.7
ZK_HOME	/usr/local/zookeeper/zookeeper3.4	/usr/local/zookeeper/zookeeper3.4	/usr/local/zookeeper/zookeeper3.4	/usr/local/zookeeper/zookeeper3.4

其余的步骤不再赘述，直接默认配置，下一步即可，这里重点说一下网络配置

vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

在这里插入图片描述
首先将BOOTPROTO设置为static，ONBOOT设置为yes
ip地址、子网掩码以及网关的设置参考你本地的物理机
打开cmd，输入ipconfig得到如下信息：
这里还需要注意ip地址的范围：

dns设置为114.114.114.114即可

关注