【大数据入门核心技术-Spark】（三）Spark 本地模式安装

已于 2023-03-15 23:06:45 修改
阅读量859 收藏 1
点赞数 2
分类专栏： 大数据技术入门到21天通关 文章标签： spark 大数据 hadoop kafka 分布式
于 2022-12-20 14:17:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128384104
版权
本文详细介绍了Spark的三种部署模式：Local模式、Standalone模式和Spark on YARN模式，重点讲解了Spark本地模式的安装步骤，包括Hadoop环境的准备、Spark的下载与解压、环境变量配置、配置文件修改以及安装成功的测试。同时，文章还提到了在安装过程中可能遇到的问题及解决方案。
摘要由CSDN通过智能技术生成

目录

一、Spark集群三种部署模式

1、 Local模式

2、Spark Standalone模式

3、Spark on YARN模式

二、准备工作

1、Hadoop环境安装

2、下载spark

三、安装spark

1、解压

2、配置环境变量

3、修改配置文件

4、测试安装是否成功

四、运行测试spark

1、读取本地文件

2、读取HDFS文件

五、常见问题

1、spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter

一、Spark集群三种部署模式

1、 Local模式

运行在一台计算机上的，通常是用来做测试

2、Spark Standalone模式

Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他的框架。是相对于Yarn和Mesos来说的。

3、Spark on YARN模式

该模式下是使用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
专栏目录
订阅专栏
【大数据入门核心技术-Spark】（五）Spark On Yarn模式安装
12-16 496
四五。运行在一台计算机上的，通常是用来做测试。spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter解决方法： 打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变其中hadoop换成自己的路径）export SPARK_DIST_CLASSPATH=$(/data/hdp/hadoop-3.2.1/bin/hadoop classp
Spark3运行模式介绍
猫头鹰数据的专栏
09-23 273
#本地模式两线程运行 ./bin/run-example SparkPi 10 --master local[2] #Spark Standalone 集群模式运行 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ss3:7077 examples/jars/spark-examples_2.12-3.0.3.jar 100 #Spark on YARN 集群上 yarn...
Spark3.0源码分析-数据本地化优先级及延迟调度策略
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-02 1015
spark3.0基于源码分析数据本地化及延迟调度策略
spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter
iMatt的专栏
05-17 1734
错误原因： 没找到log4j相关类 导致没找到log4j的原因： 1、hadoop中含有log4j的JAR包 2、使用的是spark-3.1.3-bin-without-hadoop.tgz版本，需要手动指定hadoop的classpath。 解决方法： 打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径） export SPARK_DIST_CLASSPATH=$(/usr/soft/hado
关于log4j无法正常输出日志:java.lang.NoClassDefFoundError: org/apache/log4j/spi/ThrowableInformation
热门推荐
琦琦琦小爷的博客
08-10 1万+
今天启动java程序，日志一直无法正常输出，经过查询，在tomcat的日志中出现如下异常: Exception in thread "pool-1-thread-2" java.lang.NoClassDefFoundError: org/apache/log4j/spi/ThrowableInformation DbConnInfo add conn is null Exception i
【大数据入门核心技术-Spark】（一）Spark介绍
12-10 1595
spark是基于内存计算的大数据处理框架，由于基于内存计算，处理数据非常快。这里仅仅只涉及到数据的计算，并没有涉及到数据的存储，后期就需要对接各种不同的外部数据源，比如处理HDFS上的数据。
【大数据入门核心技术-Spark】（四）Spark Standlone模式安装
最新发布
12-16 492
运行在一台计算机上的，通常是用来做测试。运行在一台计算机上的，通常是用来做测试。spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter 解决方法：打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径）export SPARK_DIST_CLASSPATH=$(/data/hdp/hadoop-3.2.1/b
【大数据入门核心技术-Spark】（二）Spark核心模块
12-10 595
实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。SparkCore 中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。是 Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API，并且与 Spark Core 中的 RDD API 高度对应。提供常见的机器学习 (ML) 功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。
java.lang.NoClassDefFoundError org.apache.log4j.spi.ThrowableInformation
Derek_Zhang_的专栏
01-21 1万+
1. Problem Description: Our application has been working normal in past months, however, after our server restart today, when startup Tomcat7, we got this error and the application seemed up but not
spark项目，读取或写入elasticSearch数据，报错NoClassDefFoundError: org/apache/logging/log4j的解决办法
慢慢来
07-01 2619
文章目录添加es的jar包NoClassDefFoundError: org/apache/logging/log4j/util/ReflectionUtil 的解决办法       在用maven进行spark开发时，如果使用离线批处理，一般都有添加spark-core的jar包。 <dependency> <groupId>org.apache.spark</groupId> <artifactId
java.lang.NoClassDefFoundError: org/apache/log4j/spi/ThrowableInformation
Linn
07-19 1万+
1、错误描述严重: Exception sending context destroyed event to listener instance of class org.springframework.web.context.ContextLoaderListener java.lang.NoClassDefFoundError: org/apache/log4j/spi/ThrowableI
Spark 使用过程中遇见的问题
weixin_42130167的博客
12-18 3261
参考：https://blog.csdn.net/SCGH_Fx/article/details/72529132 ---------------------------------------------------------------------------------------------------------------------------------------------...
spark报错java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
行路者
04-10 7385
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.ja...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值