Centos7下安装（Hadoop2.7.6+Spark2.3.1）

最新推荐文章于 2023-06-18 20:41:02 发布

你好，阳光

最新推荐文章于 2023-06-18 20:41:02 发布

阅读量1.7k

点赞数 1

文章标签： spark

本文链接：https://blog.csdn.net/weixin_42292787/article/details/89309645

版权

本文档详细介绍了在Centos7环境下，如何一步步安装Hadoop2.7.6和Spark2.3.1，包括JDK的安装、防火墙关闭、Scala配置、主机名修改、SSH免密登录、Hadoop和Spark集群的搭建以及相关服务的启动和验证。

摘要由CSDN通过智能技术生成

预先准备：
jdk1.8安装包、scala2.11.8安装包、hadoop2.7.6安装包、spark2.3.1安装包

解压jdk-8u181-linux-x64.tar.gz到/usr/local/java/文件夹下
修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述
修改成功后执行 source /etc/profile使文件生效
验证是否成功

执行下面命令

systemctl stop firewalld && systemctl disable firewalld
setenforce 0

修改文件vim /etc/selinux/config

SELINUX=disabled

重启服务器 reboot

解压scala-2.11.8.tgz到/usr/local/scala/文件夹下
修改配置/etc/profile

# 在最后下添加
export SCALA_HOME=/usr/local/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

修改成功后执行 source /etc/profile使文件生效
验证是否成功
在这里插入图片描述

查看当前机器名称
hostname
改名执行vi /etc/hostname

spark1

重启
克隆这台机器，分别克隆为spark2、spark3、spark4.

192.168.xxx.xxx	spark1
192.168.xxx.xxx	spark2
192.168.xxx.xxx	spark3
192.168.xxx.xxx	spark4

可以使用ifconfig命令查看每台机器的ip
机器之间互ping一下，验证是否可以ping通

生成公钥

ssh-keygen -t rsa

生成的公钥默认位于/root/.ssh目录
将公钥内容写入authorized_keys

cat id_rsa >> authorized_keys

每个虚拟机分别执行

ssh-copy-id -i sparkx

分别测试每台机器，除了第一次需要输入密码，之后不再需要输入密码便可直接登录

ssh spark2

解压hadoop-2.7.6.tar.gz到/usr/local/hadoop/文件夹下
修改/etc/profile<

关注