mac下利用IDEA工具Maven编译Spark源码

最新推荐文章于 2023-05-12 09:32:07 发布
最新推荐文章于 2023-05-12 09:32:07 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： IDEA spark 文章标签： spark idea mac
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ss762349239/article/details/72627443
版权
本文介绍了如何在Mac系统中，使用IntelliJ IDEA结合Maven来编译Spark 1.4.1源码。首先从官网下载源码，然后确保IDEA安装了Scala插件和Maven 3.3.9以上版本及Java 7。接着导入源码，修改pom.xml文件以匹配Java版本并跳过测试错误。最后在Terminal中设置MAVEN_OPTS参数，执行编译命令完成编译。
摘要由CSDN通过智能技术生成

编译步骤如下：

1.从官网下载spark源码，注意是souce code，不是提前编译好的版本，我这里下载的是spark1.4.1。
2.确保IDEA上安装了scala插件plugins，本机也安装了maven3.3.9及以上版本和java7+，如图：

这里写图片描述

3.将源码文件解压，并import进IDEA导入方式选择MAVEN。

这里写图片描述

最低0.47元/天 解锁文章
山歌在努力
关注
专栏目录
spark编译源码过程
01-01
对于开发者而言，理解Spark的内部实现机制以及如何编译Spark源码是提高工作效率、进行定制化开发的关键。本文将详细介绍如何针对Spark 2.1.0版本进行源码编阅及编译修改的过程，旨在帮助读者掌握快速修改Spark源码的...
spark-使用maven打包
大白
04-05 4043
Spark使用maven进行打包(减少jar包大小)：<name>org.kafka.grammar</name> <packaging>jar</packaging>spark的依赖包<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 -->...
Mac上IDEA配置及使用Maven
guorenhao的博客
05-05 1万+
1、Maven简介 Apache Maven是一个项目管理和构建工具，它基于项目对象模型（POM）的概念，通过一小段描述信息来管理项目的构建、报告和文档。它可以实现标准化的项目结构，标准化的构建流程，方便的依赖管理。 2、下载安装 前往官网下载 选择一个下载下来解压即安装完成，然后根据自己的习惯放到不影响的位置即可。 3、配置环境变量 打开终端输入如下命令 vi ~/.bash_profile 如果没有该文件，输入如下命令创建该文件，然后再输入以上命令 touch ~/.bash_profile 打开
mac+idea进行spark开发
end_taotao的博客
08-04 2289
**最近开始学习spark，想要使用idea和scala进行开发，因此首先需要配置idea上的相关环境。目前网上有很多关于这方面环境配置的教程，所以本文住重点不在于如何搭建环境，而在于搭建环境中的碰到的一些坑。** （一）环境配置 步骤一：下载idea，并安装scala插件（值得注意的是这个插件中貌似自带有sbt，所以不需要在安装sbt的插件） 步骤二：下载安装scala，并配置相应环境 ...
Mac下如何编译Spark源码？
jliangguo的专栏
04-03 507
环境 MacBook Pro  2.5 GHz Intel Core i7 ZSH Spark源码，日期：20160402 编译 1、切换到Spark源码目录下： cd $SPARK_HOME 其中，SPARK_HOME可分别在.bashrc和.zshrc（iTerm加载）中设置，目前本机设置为：/Use
Mac 使用 IDEA 2019.3 通过maven编译SpringBoot源码，进行源码调试学习
liujianyangbj的博客
03-09 1710
1、从GitHub拉取源码 SpringBoot项目地址：https://github.com/spring-projects/spring-boot 这里我们选择2.2.5Release版本进行编译 点击Branch选择分支，下拉框里选择Tags，再选择v2.2.5Release，最后点击右侧clone or download。 这里下载可能有会有点慢，耐心等待… 我发现Spring Boot ...
idea 新建项目并打包（java，spark）
01-20
1. 创建完项目后，可能发现Java源代码不在"Source"目录下。这时，可以通过快捷键"Ctrl+Alt+S"打开设置，搜索"Maven"，找到"Importing"选项。 2. 在"Maven Importing"设置中，勾选"Import Maven projects ...
Spark源码包（编译完成）
07-18
7. `build`：包含了构建Spark所需的配置文件，如`pom.xml`，用于Maven编译。 编译Spark 1.6.1源码通常涉及以下步骤： 1. 安装Java 8及Maven。 2. 获取源码，可以使用`git clone`命令从GitHub克隆Spark项目。 3. ...
spark2.1.1的源码包
06-17
对于想要深入研究Spark的人来说，解压此源码包并在IDEA中打开，可以查看源代码，了解其实现细节，调试代码，甚至为Spark贡献代码。这将帮助开发者提升对大数据处理的理解，从而更好地利用Spark进行复杂数据任务的...
Mac maven环境配置与使用，以及在idea中maven配置 （附下载链接）
最新发布
PAP
05-12 8213
Mac maven环境配置与使用，以及在idea中maven配置 （附下载链接）
Mac配置IntelliJ IDEA Maven
weixin_45413924的博客
07-17 1685
Mac配置IntelliJ IDEA Maven 环境版本： Mac OS: 10.14.3 JDK: 1.8 Idea: 2019.1.3 Maven: 3.6.1 本地Maven配置 准备工作： Maven下载： http://maven.apache.org/download.cgi Maven安装： 将下载好的Maven压缩包解压到/usr/local目录下（如图）： 注* us...
Mac下的IDEA的MAVEN设置
kiranet的专栏
09-12 1万+
        一直很纳闷在Mac下使用IDEA开发Maven管理的程序的时候没管理到仓库到指定的文件夹，后来研究了下系统和软件之后发现自己一直以来没设置正确，关于Maven环境的配置可以参考：https://blog.csdn.net/kepoon/article/details/55251913/，下面是我整理IDEA的MAVEN设置过程。 1. 查看默认Maven仓库 查看用户的user...
Mac上配置IntelliJ IDEA的Spark源码阅读环境
Lestat.Z.的博客
02-17 1961
文章目录环境准备主要工具/软件Git 安装IntelliJ IDEA 下载及 Scala 插件安装sbt 安装基本步骤获取git目录在IDEA中构建spark 环境准备 主要工具/软件 git Intellij IDEA & Scala Plugin sbt Git 安装 IntelliJ IDEA 下载及 Scala 插件安装 IJ IDEA 下载连接： https://www.je...
spark开发环境搭建（基于idea 和maven）
热门推荐
哎幽的成长
11-22 6万+
使用idea构建maven 管理的spark项目 ，默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你的”Hello World!” 导入spark依赖 编写sprak代码 打包在spark上运行 1.sc
在Mac下配置Spark源码阅读环境
weixin_30248399的博客
12-16 133
一、本机环境 Macbook pro Retina Scala 11.4 Jdk 1.6.05(目前，在Mac下安装IDEA社区版本只支持jdk1.6版本) Git 2.2.0（点击这里直接安装既可） 准备就绪 二、Spark源码编译 我下载的是1.1.1版本的源码，大概139...
Maven编译打包spark（2.1.0）源码及出现问题的解决方案（win7+Intellij IDEA）
Jiesonshan的博客
08-05 9127
Maven编译打包spark（2.1.0）源码及出现问题的解决方案（win7+Intellij IDEA） 编译spark源码进行二次开发，中间出现的问题及解决方法
Mac上配置maven+eclipse+spark开发环境
weixin_30924239的博客
03-11 179
1、安装jdk 2、下载scala-ide。官网：http://scala-ide.org 3、安装maven 4、在eclipse中，配置maven的安装了路径。偏好设置--->maven--->installpath 5、修改maven的镜像文件，即setting.txt中的mirror。具体修改为如下： <mirrors> &lt...
在Mac OS X + Idea下搭建Maven项目 -- 安装maven及常用mvn命令介绍
sophie2805的专栏
01-06 7347
在公司参与的项目是windows下的eclipse + maven. 想在自己的电脑上玩一下maven，所以以下是在Mac + Idea下搭建Maven项目的过程。 首先是安装Maven: 1. 从Apache网站上下载最新版本的Maven： https://maven.apache.org/download.cgi ，mac下下载.tar.gz 2. 解压缩后，将文件夹放置于合适的目录
idea创建maven的spark项目
03-16
首先，需要在本地安装Maven和Spark。然后，可以按照以下步骤创建Maven的Spark项目： 1. 打开终端或命令行界面，进入要创建项目的目录。 2. 运行以下命令创建Maven项目：`mvn archetype:generate -DgroupId=com.example -DartifactId=my-spark-project -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false` 3. 进入项目目录：`cd my-spark-project` 4. 打开pom.xml文件，添加Spark依赖： ```xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.</version> </dependency> </dependencies> ``` 5. 在src/main/java目录下创建一个Java类，例如：`com.example.App` 6. 编写Spark应用程序代码，例如： ```java package com.example; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; public class App { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("My Spark App").setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile("input.txt"); long count = lines.count(); System.out.println("Lines in file: " + count); sc.stop(); } } ``` 7. 在终端或命令行界面中，进入项目目录并运行以下命令构建项目：`mvn package` 8. 运行Spark应用程序：`spark-submit --class com.example.App target/my-spark-project-1.-SNAPSHOT.jar` 以上就是创建Maven的Spark项目的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值