CentOS 7基于 Hadoo2.7.3完全分布式集群 安装配置 spark2.4.3 以及 安装 scala

最新推荐文章于 2022-02-26 21:42:56 发布
最新推荐文章于 2022-02-26 21:42:56 发布
阅读量886 收藏 1
点赞数 1
分类专栏： 大数据技术 文章标签： Hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010360923/article/details/90290242
版权
该博客详细介绍了如何在CentOS 7环境下，基于已有的Hadoop 2.7.3完全分布式集群，安装并配置Spark 2.4.3以及Scala。首先，博主提供了下载Spark和Scala的官方链接，然后在主节点上完成Scala的安装和环境变量配置。接着，博主详细讲述了Spark的安装步骤，包括解压、配置环境变量、修改spark-env.sh和slaves文件，并将所有配置复制到从节点。最后，启动Spark并使用jps检查集群状态，确认Master和Worker正常运行。
摘要由CSDN通过智能技术生成

CentOS7 基于 Hadoo2.7.3 安装spark2.4.3 以及安装 scala

0x00准备

0x01 前提

确保Hadoop2.7.3完全分布式集群可正常使用
笔者已配置环境如下：
JDK版本:jdk1.8.0_121
Hadoop版本：hadoop-2.7.3
三台服务器ip分布如下

10.1.1.91	hadoop01 	#主
10.1.1.92 	hadoop02 	#从
10.1.1.93	hadoop03 	#从

启动Hadoop

start-all.sh
#
# 用jps查看主节点有如下活动
8227 DataNode
8580 ResourceManager
8692 NodeManager
8901 Jps
8122 NameNode
8397 SecondaryNameNode
#
# 用jps查看从节点
7430 Jps
7197 DataNode
7309 NodeManager

0x02 下载 Spark 安装包

Spark官方下载地址：https://spark.apache.org/downloads.html

  1. 选择版本号，如2.4.3
  2. 选择包类型，如Pre-buillt for Apache Hadoop 2.7 and later
  3. 点击下载进入下载页面
    在这里插入图片描述
    选择建议镜像下载地址进行下载：
    在这里插入图片描述

0x03 下载 Scala 安装包

Scala官方下载地址：https://www.scala-lang.org/download/2.12.8.html

  1. 打开页面滑动至底部
  2. 选择包类型，如scala-2.12.8.tgz
    在这里插入图片描述

0x10安装配置Scala

在主节点完成以下配置

  1. 解压Scala的tgz包到路径/opt/module
tar -xvf scala-2.12.8.tgz -C /opt/module
  1. 编辑/etc/profile(在文本末尾添加)，配置系统环境变量
 #
最低0.47元/天 解锁文章
7INrelief
关注
专栏目录
Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
pucao_cug的专栏
05-16 2万+
Linux安装Spark(CentOS7+Spark2.1.1+Hadoop2.8.0)-v1.0.0版本号：CentOS7 Hadoop2.8.0 Spark2.1.1 Scala2.12.2 JDK1.8
Centos下基于Hadoop安装Spark（分布式）
weixin_33966095的博客
10-23 181
前提 Hadoop可成功在分布式系统下启动 下载scala 链接是https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz Master和其他子主机下 wget https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz 解压 tar -...
【Spark】环境搭建（CentOS7）
weixin_34343000的博客
09-15 168
1. 首先要安装java8，参考 【Linux】Linux服务器（centos7）环境搭建java/python3/nginx 2. 然后安装scala 首先下载scala， 解压，然后 vim /etc/profile 在文件末尾添加， 把路径换成自己的解压路径 export PATH=$PATH:/usr/local/scala-2.1...
Centos7 下 spark1.6.1_hadoop2.6 分布式集群环境搭建
搬砖小工053
07-19 3748
摘要在上一篇博客《Centos7 下 Hadoop 2.6.4 分布式集群环境搭建》 已经详细写了Hadoop 2.6.4 配置过程，下面详细介绍 spark 1.6.1的安装过程。Scala 安装下载 ，解压下载 scala-2.11.8.tgz， 解压到 /root/workspace/software/scala-2.10.4t 目录下修改环境变量文件 /etc/profile添加以下内容e
阿里云Spark安装教程_完全分布式_Spark-2.2.0_CentOS7.4
bqw的博客
01-19 1765
一、环境本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS7.4。默认已经安装了JDK1.8及Hadoop2.7.4。安装方法请查看阿里云安装hadoop教程_完全分布式_Hadoop2.7.4_Centos7.4。使用scala-2.11.8及spark-2.2.0。主节点命名为master，从节点命名为node1。 二、安装scala解压文件到指定目录配置环境变...
CentOS7 基于Hadoop2.7.3完全分布式安装Hive2.3.4以及安装MySql
7INrelief的博客
04-29 1505
CentOS7基于Hadoop2.7.3安装Hive2.3.40x00 本人的Hadoop集群已配置并且能正常运行0x10 安装Mysql5.70x11 为yum配置mysql57的源0x12 修改MySQL密码开启 mysql 中 root用户远程访问权限0x20 下载、配置Hive0x21到apache下载Hive的tar包0x22安装Hive，并设置环境变量0x23 配置hive-site....
【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
strawcherry_wj的博客
07-24 1030
一、安装操作系统并配置IP 在VMware虚拟机中安装三台Centos，分别作为Master，Slave1，Slave2，并配置root用户。 配置三台机器的静态IP地址，本次示例IP分别为： Master: 192.168.157.128 Slave1: 192.168.157.129 Slave2: 192.168.157.130 （关于设置静态ip连不上网的问题，https://blog.csdn.net/tearofthemyth/article/details/112800999 Mac VMw
基于CentOS6.5系统Hadoop2.7.3完全分布式集群搭建详细步骤
LG_49的博客
05-30 1712
 前言：本次搭建hadoop集群使用虚拟机克隆方式克隆slave节点，这样做可以省去很多不必要的操作，来缩短我们的搭建时间。 一、所需硬件，软件要求 使用 VMWare构建三台虚拟机模拟真实物理环境 操作系统：CentOS6.5 二、必备条件 hadoop搭建需要在三台机器上进行，并且不能是root用户，我们需要创建普通用户，进行下面的操作，三台机器分别都要创建普通用户，而且三台机器上的...
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
spark-2.4.3-bin-hadoop2.7.tgz
06-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
spark-2.4.1-bin-hadoop2.7.tgz
04-16
官网下载太慢了，保存自用。
Linux的spark-2.3.3-bin-hadoop2.7.tgz
07-07
spark的安装包，Linux下使用，需要欢迎下载，spark-2.3.3-bin-hadoop2.7
spark-2.4.5-bin-hadoop2.7.tar.gz
06-04
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu，Redhat等linux系统，解压即可安装，解压命令：tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst（解压后存放路径）
spark-2.4.3-bin-hadoop2.7.zip
12-12
spark-2.4.3-bin-hadoop2.7.zip
vmware centos spark mysql hive hadoop 环境搭建
weixin_43493256的博客
04-15 497
vmware centos spark mysql hive hadoop 环境搭建 本文为原创，转载附博文网址，如有相似，纯属巧合。 1、你的centos要和你的vmware版本匹配 2、学习资料来自网课学习，很感谢那个网课老师。本文不讲解配置文件内容，只讲完成步骤，之后可以自己打开文件学习研究 3、搭建需要的安装包和配置文件，都已经写好，我在下面会提供链接供学习。安装包包括apache-hiv...
Centos7下安装Spark环境
零落的尘土
09-30 399
1.下载安装Spark jdk基础环境省略下载地址:http://spark.apache.org/downloads.htmlcd /usr/local进入上传目录tar -zvxf spark-2.0.2-bin-hadoop2.6.tgz解压到当前目录 usr/local目录下使用vi helloSpark编辑如下内容 cd /usr/local/spark2.7/bin进入sp...
centos安装hadoop环境（编写中）
青春不流名
02-26 2146
一、环境准备 二、安装部署 三、使用验证
Centos6 下 spark1.6.3_hadoop2.6 分布式集群环境搭建
sakulamartain的博客
10-29 832
Scala安装 下载，解压 下载Scala-2.11.8.tgz， 修改环境变量文件/etc/profile 添加以下内容 export SCALA_HOME=/root/workspace/software/scala-2.10.4 export PATH=$PATH:$SCALA_HOME/bin1 source使之生效 source /etc/profile 验证Scala安装 [root@racnode2 bin]# scala Welcome to Scala ...
CentOS7安装Hadoop2.7.2伪分布式及Eclipse配置指南
"该文档详细介绍了如何在CentOS7操作系统中正确安装Hadoop 2.7.2的伪分布式环境，并且配置Eclipse IDE，以便于进行Hadoop相关的开发工作。作者通过实操验证了这一过程的成功性。" 在安装Hadoop伪分布式环境之前，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值