IDEA 搭建 Spark 源码 (Ubuntu)

最新推荐文章于 2020-01-01 15:22:23 发布
最新推荐文章于 2020-01-01 15:22:23 发布
阅读量163 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwwjjjnnn/article/details/103621223
版权
在Ubuntu环境下，使用IDEA搭建Spark 2.4.3源码，通过Maven进行编译时遇到错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin。问题源于找不到"javac"编译器。解决方案是修改pom.xml文件以解决Java编译器路径问题。
摘要由CSDN通过智能技术生成

版本：Spark 2.4.3/JDK 1.8/Scala 2.11.0

1、选择Spark版本、压缩包下载。

2、IDEA中左下角Terminal下输入： mvn -DskipTests clean package

3、Maven工程导入到IDEA中

最低0.47元/天 解锁文章
wjunneng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在ubuntu上构建并配置Spark的IDE开发环境
WEL测试
09-23 1288
从网上下载相关的的IDEA的版本，由于我的java版本是1.7的，我下载的版本是IDEAIC_2017.2.4的包，导致后面无法加载jdk！最后我更换为IDEA 13.1.7的！下面的安装步骤截图是IDEAIC_2017.2.4，IDEA13.1.7安装步骤也是一样的： 第一部分：安装并配置IDEA 第一步：创建安装目录并解压安装包 第二步：把解压文件移动到到创建的目录中：
intelliJ IDEA进行spark配置和开发
热门推荐
朱安的博客
09-26 1万+
前言：一直在使用python做数据处理，阅读spark官方文档时到后半部分的MLlib机器学习部分有些机器学习方法竟然没有python,很是遗憾，遂着手准备学学scale,毕竟原生语言，开发起来应该是丝丝入扣，顺滑平坦。 1.下载intelliJ IDEA 下载传送门 建议下载找个注册码安装Ultimate版本。 (在安装时不要一直点，看清楚意思再进行选择，尽量多的把能装上的语言都装上，这样
使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境
蓁蓁尔的博客
10-19 3258
在本地搭建好Spark 1.6.0后，除了使用官方文档中的sbt命令打包，spark-submit提交程序外，我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试，之后再将作业提交到集群生产环境中运行，使用IDE可以提升我们的开发效率。转载请注明博客原文地址：http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-y
Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题
a18852867035的博客
10-02 1544
Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题前言1. 安装jdk2. 安装scala3. 安装IDEA4. 安装scala插件5. 安装Spark（开发时可以不安装，可跳过这一步）6. 解决无法添加依赖的问题7. 总结创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘...
Ubuntu 14.04 下使用IDEA开发Spark应用 入门
weixin_30329623的博客
12-15 100
网上有很多教程，有用sbt ，也有不用sbt的，看的头大，搞了半天，终于运行成功一个例子，如下： 1.官网下载http://www.jetbrains.com/idea/download/ Interlij IDEA，用conmmunity Edition 就够了 2.启动起来以后，在插件搜索里面 选择scala ，安装。 3.创建scala Project ，设置名称，JDK和S...
IDEA版tomcat源码搭建.docx
07-14
IDEA 版 Tomcat 源码搭建 Tomcat 是一个开源的 Web 服务器软件，由 Apache 软件基金会开发和维护。它支持众多的 Java 库和框架，能够提供高性能和高可扩展性的 Web 应用程序。IDEA 是一款功能强大的集成开发环境...
Intellij IDEA 搭建Spark开发环境说明
07-04
基于Win7环境，IntelliJ IDEA 搭建Spark开发环境。
IDEA搭建SSM项目源码下载
04-26
本项目"IDEA搭建SSM项目源码下载"是针对初学者设计的，旨在帮助他们快速理解和实践SSM框架的集成与应用。 1. **Spring框架**：Spring是一个全面的企业级应用开发框架，它提供依赖注入（DI）和面向切面编程（AOP）等...
IDEA 搭建spark环境配置文件pom.xml
08-01
IDEA 搭建Spark环境时所需的依赖包配置，可以导入spark基本操作依赖包、机器学习依赖包等等。
IDEA2021从零开始搭建SSM框架源码
06-19
IDEA2021从零开始搭建SSM框架源码,tomcat9.0, mysql8.0.25, SSM框架 https://blog.csdn.net/a2267542848/article/details/118054172
Ubuntu下如何用Intellij Idea运行scala及scala版spark
donger__chen的博客
01-01 870
厦门大学数据库实验室
开题报告达达宠物认领信息网站的设计与实现 已通过开题答辩的.docx
07-25
宠物认领信息网站的主要目的是为寻找宠物的失主和寻找新家的宠物提供一个在线的信息交流平台。通过这个平台，失主可以发布失宠信息，寻找走失或遗弃的宠物；而救助人或组织则可以发布待领养的宠物信息，为那些无家可归的宠物寻找一个永久的归宿。 这样的网站通常会提供一个详细的宠物数据库，包括照片、品种、年龄、健康状况等信息，以便让失主能够方便地找到自己的宠物。同时，网站还会提供一些相关的服务，如失主与救助人之间的在线交流、宠物匹配推荐、领养手续办理等，以帮助双方顺利完成宠物的认领和领养过程。 宠物认领信息网站的目的在于提高失宠找到宠物的几率，减少流浪宠物的数量，并为那些无家可归的宠物提供一个温馨的新家。同时，网站还能促进社会对流浪宠物的关注和保护，提高人们的动物保护意识。
开题报告创权法律服务系统 已通过开题答辩的.doc
07-25
进入20世纪80年代，我国加快了改革开放的步伐，市场经济体制已逐步形成，我国的经济发展受世人所瞩目，但法律法规的置后，使经济发展不规范问题暴露的相当严重，特别是社会整体信用的缺失，使消费环境不断恶化。而如今随着城镇化的高速推进，精神追求远不及物质发展迅速，维权问题也越来越成为人们十分关注的社会话题。 维权是指维护个人或群体的合法权益，范围包括人身损害、土地纠纷、 医疗事故、婚姻、家庭、继承等民事纠纷所进行的行政及司法诉讼。维护消费者合法权益关系着全社会每个人的利益，群众利益无小事。维护消费者合法权益正体现着“权为民所用，利为民所谋”。而现如今由于法律规则的不完善加上自身对法律知识的不了解，导致很多公民的权益问题在复杂的社会情况下无法得到妥善的解决，使得公民的财产和心理受到难以弥补的损失，严重威胁到社会的安全与稳定，公民之间的诚信与统一。因此更便捷、迅速地维护公民的合法权益，已经成为了一个刻不容缓去解决的社会问题。
Matlab实现豪猪优化算法CPO-TCN-Multihead-Attention多输入单输出回归预测算法研究.rar
07-25
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
人力资源-6 团结一致共创未来新员工座谈会.pptx
07-25
人力资源-6 团结一致共创未来新员工座谈会.pptx
《AI大模型应用》--基于PepperBot，可以保留上下文的LLM群聊机器人实现.zip
07-25
上接OpenAI、文心一言，下接QQ、微信、Telegram 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！
开题报告传统糕点 已通过开题答辩的.docx
07-25
理论意义： 1、网页设计是信息传播的重要手段，通过合理的布局、图文搭配等设计元素，可以更好地传递传统糕点的信息。理论上，这涉及到传播学、信息传递模型等方面的理论研究，确保信息能够被受众准确、清晰地接收。 2、用户体验理论强调用户与网页之间的交互和感知。在传统糕点推广网页设计中，理论上的考虑应该包括用户友好的界面、易于导航的网站结构，以及引导用户深入了解传统糕点的设计元素。
GBT 2423.1-2008-试验A-低温
最新发布
07-25
GBT 2423.1-2008-试验A-低温
idea spark源码
11-24
在使用IDEA调试Spark应用时，如果想要查看Spark源码，需要将Spark源码与IDEA关联起来。具体步骤如下： 1. 从Spark官网下载对应版本的源码包。 2. 解压源码包到本地文件夹。 3. 在IDEA中打开项目，点击菜单栏的File -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值