spark 3.0.0源码环境搭建

于 2024-07-29 15:11:10 发布
阅读量453 收藏 3
点赞数 3
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43839095/article/details/140771835
版权

环境

Spark版本：3.0.0
java版本：1.8
scala版本：2.12.19
Maven版本：3.8.1

编译spark

将spark-3.0.0的源码导入到idea中
执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests

执行sparksql示例类SparkSQLExample

运行成功

遇到的问题

缺少parse包的类


parse包的类是ANTLR工具生成的，确认idea的插件已经安装了。
image.png
找到sql包下面的SqlBase.g4文件，右键执行生成文件。最后生成的文件在gen目录下，创建一个新的包org.apache.spark.sql.catalyst.parser，将生成的文件都复制到这个包下面。

image.pngscala.reflect包的类缺失


在spark-example模块的依赖加上scala-reflect的jar包

在运行界面上，选中‘将带有provided依赖加入路径’

没有spark版本文件


spark版本文件是spark-build-info.sh文件生成的

我们可以手动在创建spark-version-info.properties文件，写上版本

Master URL没有指定


代码中加上master的配置

ANTLR版本不对

image.png
在对应plugin中找到插件主页。

在主页中找到对应版本的插件下载

手动安装下载的插件

申尧强
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark环境搭建教程
xgb2018的博客
03-27 4233
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
spark3.0.0源码包
05-21
解压可直接导入idea观看 我的环境：jdk8 scala2.12 maven2.6.0
详解 Spark 各种运行环境的搭建
weixin_44480009的博客
05-29 1127
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
Hive on spark环境搭建
weixin_44616592的博客
11-19 1678
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。
Hive on Spark环境搭建
TH_NUM的博客
06-03 3406
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
spark-3.0.0-bin-hadoop3.2
02-17
在本场景中，我们讨论的是Spark的3.0.0版本，与Hadoop3.2相结合的二进制发行版——"spark-3.0.0-bin-hadoop3.2"。这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的...
Spark 3.0.0集群启动原理和源码详解
06-30
本课程讲解Spark 3.0.0 集群启动原理和源码详解的内容，包括：Master 启动原理和源码详解: Master 启动的原理详解、 Master 启动的源码详解、 Master HA 双机切换、 Master 的注册机制和状态管理解密； Worker 启动...
Spark3.0.0配置文件.zip
08-09
Spark3.0.0是Apache Spark的一个重要版本，它带来了许多新特性和性能优化，使得大规模数据处理变得更加高效。在Spark3.0.0中，配置文件是理解并优化其运行的关键部分。以下是对Spark配置文件及其重要性的详细解释。 ...
Spark 3.0.0 Application 提交集群原理和源码详解
06-30
Spark 3.0.0 Application 提交给集群的原理和源码详解，内容包括Spark Application 到底是如何提交给集群的：Application 提交参数配置详解、Application 提交给集群原理详解、Application 提交给集群源码详解；...
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 947
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
分布式系统常见软件架构模式
Ben的专栏
07-25 1022
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
2202_75352238的博客
07-28 788
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 1013
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
基于 SASL/SCRAM 让 Kafka 实现动态授权认证
最新发布
zlt2000的博客
07-29 456
本文将从零开始部署ZooKeeper和Kafka并通过配置SASL/SCRAM和ACL（访问控制列表）来增强Kafka的安全性
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 554
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
自定义维度映射：Kylin Cube设计的高级玩法
2401_85763639的博客
07-25 655
维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。
AccessLog| 一款开源的日志分析系统
ClkLog的博客
07-26 504
系统采用Java语言、搭配OLAP数据库，涵盖基本web日志分析，同时提供性能分析，帮助高效运维
Kylin查询优化器深度解析：大数据查询性能的加速引擎
2401_85812053的博客
07-25 629
Apache Kylin是一个开源的分布式分析引擎，专为Hadoop和Spark平台上的大数据集提供快速的SQL查询能力。Kylin的核心优势之一是其强大的查询优化器，它能够智能地优化查询计划，显著提高查询性能。本文将深入探讨Kylin的查询优化器是如何工作的，并提供详细的解释和代码示例。Kylin的查询优化器是一个强大的组件，通过多阶段的优化流程和关键技术，显著提高了大数据集上的SQL查询性能。通过本文的学习，你应该能够理解Kylin查询优化器的工作原理，并能够应用这些知识来优化你的查询。
spark-3.0.0-bin-hadoop3.2.tgz
06-15
spark-3.0.0-bin-hadoop3.2.tgz是Spark 3.0.0的二进制压缩包，其中包含了Spark 3.0.0版本的所有必要文件和依赖项，以及Hadoop 3.2版本所需的文件和依赖项。该压缩包可用于在Hadoop 3.2集群中运行Spark 3.0.0。 Spark是一个用于大规模数据处理的分布式计算框架，它支持使用Java、Scala和Python等多种编程语言进行开发。Spark的核心是RDD（Resilient Distributed Dataset）概念，它将大数据集合划分成多个小数据块，并将它们分布在多台计算机上进行处理。 相比较于Spark 2.x版本，Spark 3.0.0版本在各个方面都有了大量的改进。其中包括： 1. 新的Shuffle架构，提高了Shuffle操作的性能和容错性； 2. 新的SQL代码生成器，提高了SQL查询的性能和扩展性； 3. 支持多级聚合操作，在内存使用上更加高效； 4. 新的Pandas UDF，可将Python的Pandas库与Spark集成，更加方便地进行数据分析； 5. 支持使用Kubernetes进行集群管理，使得在容器环境中运行Spark更加简单和方便。 总之，Spark 3.0.0是一个功能更加强大和性能更加优越的版本，极大地提高了大规模数据处理的效率和可靠性，而spark-3.0.0-bin-hadoop3.2.tgz就是其二进制压缩包，为用户提供了方便快捷部署Spark集群的工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值