Spark本地模式和集群模式安装配置

已于 2022-04-28 08:02:34 修改
阅读量2.8k 收藏
点赞数
文章标签： big data spark
于 2022-04-27 15:15:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44468025/article/details/124432399
版权
本文档详细介绍了如何在Linux环境下安装配置Spark 2.0.1，包括Local模式和集群模式。首先，从Apache官网下载Spark并解压，配置SPARK_LOCAL_IP，然后在Local模式下运行spark-shell。接着，配置集群模式，编辑spark-env.sh和slaves文件，将配置复制到其他节点，启动和停止集群，并进行简单的集群测试。
摘要由CSDN通过智能技术生成

1.下载地址：这里下载的是spark-2.0.1-bin-hadoop2.7.tgz ，别的版本可以自行选择
https://archive.apache.org/dist/spark/spark-2.0.1/
在这里插入图片描述
前提：Linux需配置jdk环境，比较简单，自行百度

Local模式的使用

1.解压：
tar -xvf spark-2.0.1-bin-hadoop2.7.tgz
2.编辑文件
//进入zookeeper目录下的conf目录下
cd /home/software/spark-2.0.1-bin-hadoop2.7/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
修改：
SPARK_LOCAL_IP=本机ip地址（或者主机名）
3.进入spark命令行
cd …/bin
sh spark-shell --master=local
在这里插入图片描述
4.单机下的页面查看
在这里插入图片描述

Spark的集群模式的配置和使用<

最低0.47元/天 解锁文章
六块腹肌的程序猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark之Standalone模式部署配置详解
08-29
Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数情况来说，Standalone 模式足够了。本文将...
spark-env.sh配置——Spark学习日记
热门推荐
YYYYYY.的博客
12-10 1万+
大数据 Spark 不显示Worker问题 配置好spark后，输入jps只有Master，没有Worker 修改spark-env.sh文件 找到spark-env.sh位置 /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf ls 如果有 template 结尾的文件，都重命名为去掉 template 文件 编辑spark-env.sh文...
三, Spark 四种运行环境配置总结
菜菜的大数据开发の路
02-27 3040
三, Spark 运行环境 Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式 3.1 Local模式 Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等, 配置文件设置方法: conf.setMaster[local[K]] 1. 解压相关的依赖文件 将 spark-3.0.0-
spark如何搭建本地模式
最新发布
m0_71300592的博客
07-13 811
1、获取spark和Hadoop、scala的对应安装包，注意版本间一定要匹配，否则无法使用使用，本次学习使用的事scala2.12.11、hadoop3.0.0、spark-3.0.0-bin-hadoop3.2。3、跟着【spark本地安装辅助教程】安装，注意教程的内容不是全部适用、hadoop的安装教程不适应我的本次安装，可能是up主在安装前做了其他的准备工作，或者安装了其他东西。spark：链接：https://pan.baidu.com/s/1tXqzu9rcM_7q5bqpi2Au5g。
SPARK_LOCAL_IP设置
小鱼的博客
08-06 1454
获取本机IP地址方法 https://www.cnblogs.com/poloyy/p/12212868.html export SPARK_LOCAL_IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")
Hadoop上部署Spark集群
m0_53317797的博客
10-08 1388
spark的装载，集群部署
Scala、Spark的安装及配置
weixin_45942827的博客
11-24 1321
Scala、Spark的安装及配置
spark本地开发模式配置
11-24
在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
spark基础,关于spark的安装和几种模式的部署
09-20
Spark是大数据处理领域的一款高效、通用且可扩展的开源计算框架，它...总之，Spark的安装和部署是一个综合性的过程，涉及到多个组件的配置和协调。理解和掌握这些知识点对于有效地使用Spark进行大数据处理至关重要。
spark集群安装部署与初步开发
09-12
### Spark集群安装部署与初步开发知识点详述 #### 一、Spark概述 - **定义**：Spark是一款基于内存计算的大数据并行计算框架，旨在提供高效的数据处理能力。 - **特性**： - **内存计算**：利用内存提高数据处理...
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
ghw666666666的博客
10-23 1万+
（1）安装Spark 1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。 2.解压缩： 3. 更改文件夹名称： 4.修改hadoop用户对文件夹spark的访问权限： （2）配置 1.复制一份由Spark安装文件自带的配置文件模板：如图所示：返回结果：Pi is roughly 3.144115720578603。
3.Spark的安装（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-10 386
Spark的安装 ① 在Linux系统中安装Spark； ② 运行Spark自带实例。 实验原理 -> Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更
spark-env.sh
wuchongyong的博客
11-06 746
spark
spark-env.sh配置
窦永厚
03-11 3350
vim /conf/spark-env.sh #!/usr/bin/env bash export JAVA_HOME=/opt/module/jdk1.8.0_221 export SCALA_HOME=/opt/module/scala-2.13.5 export HADOOP_HOME=/opt/module/hadoop-3.1.4 export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop export SPARK_MASTER_IP=n
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 1776
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
Spark大数据实战之五：Spark安装
m0_67400972的博客
08-24 861
Apache官网下载Spark，拖拽到master节点上lala用户目录下，解压执行如下语句进行解压缩。
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4654
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
Spark环境搭建（本地模式）
m0_48639280的博客
12-27 1605
前置环节介绍： node1：hadoop NN DN RM NM ，hive node2：hadoop SNN DN NM node3：hadoop DN NMlocal模式基本原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量，即local[a]或local[*]其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N。则默认一个线程（该线程有一个core），通常CPU有几个core，就指
Spark本地模式安装与测试详解
在实际使用中，如果需要在集群模式（ClusterMode）或云服务环境下运行，还需要配置更多的设置，比如Hadoop集群、YARN或Kubernetes等分布式环境，以及可能涉及到的配置文件和网络连接。同时，Spark提供了SparkSubmit...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值