初探 spark 源码编译

最新推荐文章于 2024-07-10 12:58:03 发布
最新推荐文章于 2024-07-10 12:58:03 发布
阅读量134 收藏
点赞数
分类专栏： 大数据 文章标签： spark build
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MCmumu5651/article/details/79540376
版权

1，从官网下载对应版本的 spark 源码包 点击打开链接，注意：package type 选择 source code。

2，解压后在有pom.xml的目录下面，去运行以下命令进行编译。

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.1 -DskipTests clean package

编译环境：

maven 版本：3.5.2 

编译出错：


MCmumu5651
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark源码初探.md
04-20
Spark底层
Spark初探
02-26
Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。...
Spark源码初探-从spark-submit开始
古月慕南的代码世界
11-03 3752
深入了解spark的运行机制是为了搭建集群，编写应用能达到更好的性能表现，甚至更加深入的了解还可以自己修改源码，实现定制功能来适配自己的需求。仅仅通过一些spark架构和运行原理的描述来了解spark是远远不够的，所以打算系统的看一下spark的源码，以添加注释的方式写下自己的理解（尽量写的详细，很可能会显得啰嗦）。spark源码的版本为2.0.1，是当前最新的版本，平时抽点时间慢慢看，能看多少算
spark-初探
ZHANGJNWEI的专栏
01-19 362
Spark关键数据结构： RDD(Resilient Distributed Dataset) --> 弹性分布式数据集 RDD有actions(有返回值),transformations(产生新的RDD)； filter和map是transformations动作； val textFile = sc.textFile("/home/centos/wc.txt"); val wo
pyspark及Spark报错问题汇总及某些函数用法。
热门推荐
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
dubbo初探——从下载源码开始
weixin_43810802的博客
05-28 178
dubbo的官网会有这么一幅图： 可以看到，这很像eureka一样的注册中心。 Apache Dubbo |ˈdʌbəʊ| is a high-performance, light weight, java based RPC framework. Dubbo offers three key functionalities, which include interface based remote call, fault tolerance & load balancing, and auto
Spark-ETL测试
lbq15735104044的博客
05-22 985
Geotrellis-spark-etl测试 前提条件 进行到这一阶段，我们假设你已经具备了基本的spark，scala开发的能力，对Geotrellis也已经并不陌生，至少我们假设你已经使用过它，实现了一些简单的示例。 如果你没有具备以上条件，请自行参考相关资料，比如官方文档（强力推荐），同时我们也提供了《Geotrellis使用初探》，应该会对您有所帮助。 在开始...
GeoTrellis使用初探
lbq15735104044的博客
12-11 905
概述 进行到该阶段，我们假设您已经完成了geotrellis 版本选型和环境搭建；熟悉本公司的大数据架构原理；初步了解了geotrellis，并且在开发环境中构建了geotrellis配置；可以参考官方文档和有关资料，运行其给出的demo示例，那么恭喜您，可以愉快地进入该阶段。 如果您未经历或完成上述阶段，请参考公司相关文档: 《geotrellis 版本选型和环境搭建》 《飞未...
快速理解Spark Dataset
hellozhxy的博客
08-10 1637
1. 前言 RDD、DataFrame、Dataset是Spark三个最重要的概念，RDD和DataFrame两个概念出现的比较早，Dataset相对出现的较晚（1.6版本开始出现），有些开发人员对此还不熟悉，本文重点引领快速理解Dataset。 带着几个问题去阅读： 1、DataFrame比RDD有哪些优点？ 2、DataFrame和Dataset有什么关系？ 3、有了DataFram...
Spark学习资料
voiddy的专栏
11-29 836
Spark技术内幕：Master的故障恢复 Run Test Case on Spark Spark计算Pi运行过程详解---Spark学习笔记4 Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10 Spark发展现状与战线 RDD Dependency详解---Spark学习笔记9 Spark Streaming的窗口操作
Spark Eclipse 开发环境搭建
chengtuo5899的博客
10-10 154
Spark Eclipse 开发环境搭建 1 安装Spark环境 首先下载与集群 Hadoop 版本对应的 Spark 编译好的版本，解压缩到指定位置，注意用户权限 进入解压缩之后的 SPARK_HOME 目录 配置 /etc/profile 或者 ~/.bashrc 中配置 SPARK_H...
Retrofit 源码分析初探
01-04
介绍源码前，我们先看下Retrofit的基本使用，大致了解下流程，跟着这个流程来分析源码才不会乱。 1、初始化Retrofit对象 Retrofit retrofit = new Retrofit.Builder() //使用自定义的mGsonConverterFactory ....
MySQL源码初探_mysql源码_piezca_MYSQL_
10-03
5. **存储过程和触发器**：MySQL支持存储过程和触发器，这部分源码涉及到如何编译和执行这些预定义的代码块，以及如何在特定事件下自动执行。 6. **复制和集群**：MySQL的主从复制和组复制是高可用和数据安全的重要...
Spark-RDD和共享变量
最新发布
lu070828的博客
07-10 970
每个Spark应用程序都由一个组成，该驱动程序运行我们编写的main函数，并在集群上执行各种操作。Spark提供的主要抽象是一个弹性分布式数据集，它是一个跨集群节点分区的元素集合，可以并行操作。RDD是通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或中现有的Scala集合开始并转换它来创建的。用户还可以要求Spark在内存中持久化，允许它在并行操作中有效地重用。最后，RDD会自动从节点故障中恢复。Spark中的第二个抽象是可以在并行操作中使用的。
Apache Spark 的基本概念和在大数据分析中的应用
lry421308的博客
07-09 197
此外，Spark还提供了丰富的库和工具，如Spark SQL、Spark Streaming、MLlib和GraphX等，使得数据分析人员能够更方便地进行大数据处理和分析。RDD是一个可并行计算、容错和可读的分布式数据集合，可以在内存中进行高效的数据处理。Spark提供了丰富的API，支持使用多种编程语言（如Java、Scala和Python）进行RDD的操作。总而言之，Apache Spark是一种强大的大数据处理和分析工具，具有高性能、可扩展性和容错性的特点，适用于各种大数据分析场景。
基于泰坦尼克号生还数据进行 Spark 分析
lhyandlwl的博客
07-09 1034
在这篇博客中，我们将展示如何使用 Apache Spark 分析著名的泰坦尼克号数据集。通过这篇教程，您将学习如何处理数据、分析乘客的生还情况，并生成有价值的统计信息。
PySpark 中 RDD 与 DataFrame 的不同应用场景
甜盐的博客
07-09 1113
RDD 是 Spark 的核心抽象，它代表一个不可变的分布式对象集合。RDD 提供了对分布式数据集合的容错和并行操作，允许用户对数据进行细粒度的控制。DataFrame 是一种基于 RDD 的高级抽象，它是一个分布式的行和列的数据集合，类似于关系数据库中的表。DataFrame 提供了更丰富的 API，并能利用 Spark SQL 引擎进行优化。
spark 中hint使用总结
weixin_40809627的博客
07-09 314
在spark sql 中用户可以使用Join hint来建议Spark使用哪一种Join。从Spark 3.0开始增加了MERGE、SHUFFLE_HASH和SHUFFLE_REPLICATE_NL这三种Join Hint。优先级为BROADCAST > MERGE > SHUFFLE_HASH > SHUFFLE_REPLICATE_NL。如果Join的两侧都添加了BROADCAST或者SHUFFLE_HASH，则Spark会根据joinType和两侧的大小来选择build哪一侧。
Educoder Python初探
09-21
Educoder Python初探是一个学习Python编程语言的课程。其中包含了多个编程示例，例如字符串查找与替换、用数字说话和字符转换。在字符串查找与替换示例中，我们首先使用find函数查找字符串中的特定子串，并返回其索引位置。然后，我们使用replace函数将字符串中的特定子串替换为新的字符串。最后，我们使用split函数将字符串按照指定的分隔符进行切割，并将结果存储在列表中。 在用数字说话示例中，我们使用range函数创建一个指定范围的数字列表，并使用len函数获取列表的长度。然后，我们使用max和min函数分别找到列表中的最大值和最小值，并计算它们之间的差值。 在字符转换示例中，我们使用strip函数去除字符串两端的空格，并使用title函数将字符串中每个单词的首字母大写。最后，我们使用len函数获取转换后的字符串的长度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值