IDEA中编译打包Scala-Spark程序

最新推荐文章于 2024-04-17 04:17:16 发布
最新推荐文章于 2024-04-17 04:17:16 发布
阅读量840 收藏 2
点赞数
分类专栏： 大数据开发 文章标签： spark scala idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43518533/article/details/116604067
版权

IDEA中编译打包Scala-Spark程序

  • 前提条件：本地IDEA中运行Scala-Spark程序成功（传送门）
  • 测试版本：IDEA 2020.1、park 2.4.6、Hadoop 2.7.3

Step1:在Project Structure中配置Artifacts

配置Artifacts
在这里插入图片描述
注：此处必须设置为resourcese类型文件夹，否则spark-submit找不到主程序入口
报错内容：
WARN SparkSubmit$$anon$2: Failed to load org.example.hello
java.lang.ClassNotFoundException
通过下图设置resourcese类型文件夹
在这里插入图片描述
然后选择Apply+OK完成配置

Step2:使用build命令进行编译

在这里插入图片描述
编译的结果生成在项目目录的out/artifacts文件夹下
在这里插入图片描述

夜鱼君
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用IDEA进行scala打包运行
qq_45864778的博客
01-10 3594
前言 IDEA的安装、创建maven工程和scala编程不是本文的重点，这里主要介绍打包并放至spark集群上运行的方法。（具体安装和配置操作的参考链接：https://blog.csdn.net/s863222424/article/details/102979162 具体步骤 创建一个scala class文件，写上一段简单的scala代码。 package main.scala obj...
spark 提交任务时出现问题
songweiren1的博客
11-26 3074
[li@storm333 spark-standalone]$ ./bin/spark-submit --class com.atguigu.spark.test.spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT.jar 21/11/26 16:14:56 WARN NativeCodeLoader: Unable to load native.
idea下将scala编写的项目打成jar包
weixin_59371977的博客
08-18 3980
在idea下将scala编写的spark项目打包成jar
报错总结：
weixin_49626261的博客
10-11 191
报错总结： Spark on Yarn上报错 1.在IDEA上跑maven打包后的wordCount程序出现 Exception in thread "main" java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113) at org.apache.hadoop.util.ReflectionU
Idea打包：scala打成jar包
m0_75028327的博客
03-01 710
file > project Structure > Artifacts > + > jar > from modules..... >OK (什么都不用选，直接OK） > 相关依赖包全删，留一个即可。在工具栏找到Build > Build Artifacts > build。scp /本地/文件/路径 用户名@服务器IP地址:/服务器/目标/路径。在底部找到Terminal在这里输入上传命令。
使用IDEA开发Scala程序.docx
06-05
在本实验中，我们将深入学习如何使用IntelliJ IDEA这一强大的集成开发环境(IDE)来开发Scala程序，特别是针对Apache Spark的应用。实验的目标是让学习者掌握如何在IDEA中配置和构建Spark本地应用程序，以及如何部署...
spark-Scala-介绍-教程-入门-手册-调研1
08-03
在Spark中，可以使用Scala编写批处理作业、实时流处理应用程序，以及构建机器学习模型。通过Spark SQL，可以执行SQL查询并集成Hadoop生态系统中的数据。Spark的API设计使得开发者可以轻松地构建高性能的数据处理应用...
scala-intellij-bin-2020.1.43
04-28
IntelliJ IDEA是一款广受欢迎的集成开发环境（IDE），尤其在Java和Scala开发者中深受喜爱。"scala-intellij-bin-2020.1.43"指的是IntelliJ IDEA专门为Scala编程语言定制的一个版本，包含了对Scala的全面支持。 这个...
scala-2.12.0.tgz
04-07
- **编译和运行**：使用`sbt`或`scalac`编译Scala程序，使用`scala`命令启动REPL进行交互式编程。 - **开发工具**：IDEA、IntelliJ IDEA等集成开发环境有Scala插件，可以提供良好的开发体验。 - **学习资源**：...
hands-on-spark-scala
04-08
我们将在本实践课程中使用它，因为它集成了一些工具，这些工具可促进Scala中应用程序的开发。 IntelliJ Community版本可。 下载并安装与您的计算机兼容的版本。 Ubuntu 16.04或更高版本的特殊订单： sudo snap ...
使用IDEA配置sbt，编译打包Scala代码
qq_52147555的博客
10-23 1740
IDEA配置sbt，编译打包Scala代码
maven scala java 混合项目编译、打包（jar包）、运行
枪枪枪的博客
02-24 7569
文章目录说明java相关的插件scala相关的插件maven命令打包创建项目分别指定java和scala的source root路径编辑pom文件执行命令运行jaridea打包参考资料 说明 一开始用的是在idea中打包的方式，但是在更新项目结构或是更新以来后，需要手动的去修改原来的配置，不是很方便。于是查找资料看下用maven命令如何打包 java相关的插件 java代码编译与打包，我参考了这篇文章的内容，介绍的很详细：https://blog.csdn.net/dyq51/article/details
使用IDEA打包Spark应用程序（Windows+Maven+Scala）
大强博客
02-29 1532
1、编写Spark应用程序 参考我的上一篇博文：《使用IDEA编写Spark应用程序（Windows+Maven+Scala）》 2、打包配置 单击菜单File->Project Structure->Artifacts->加号(+)->JAR->From Modules with dependencies... 如下所示： 在弹出的对话框中选择模块、主...
Intellij IDEA搭建配置Scala环境、打包
晓风岚月
05-20 319
1.配置scala插件 File->Settings->Plugins 2.配置JDK和scala 将本地的JDK加载进去： File->Project Structure->Modules->Dependencies scala同理 3.搭建scala项目 1)建一个Maven项目 2)在main/scala目录下创建一个基本类 代...
IDEA创建scala项目的三种方法
roughman9999的博客
05-22 6561
转自 https://blog.csdn.net/u013850277/article/details/78526046 用了好几年的Eclipse，最近想着了解下Scala，听说Intelli JDEA这个工具很强大，因而开始着手试试 Intelli JDEA，下面是运用该工具创建Scala项目的一些简单操作。 Scala的拥护者们认为Scala的主要优势是速度和它的表达性。 安装完 IJ IDEA 工具以及配置好Scala 环境便可进行Scala 开发了。 IJ IDEA 原本是..
spark踩坑记
Aurevior的博客
05-12 2886
这两天安装spark，把该踩的坑和不该踩的坑统统踩了个遍 启动spark shell报错如下 [ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberFormatException: For input string: "0x100" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
Intellij IDEA开发环境搭建，scala配置及打包，jar包在spark中的运行
热门推荐
sym的博客
11-06 2万+
1. Intellij IDEA 开发环境搭建 最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于Intellij IDEA提供了非常智能的提示功能，所以选择IDEA作为开发环境。Intellij IDEA现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向IDEA，一
Idea打包：scala打成jar包_scala项目打jar包运行，2024年最新大数据开发插件化入门指南
最新发布
2401_84185224的博客
04-17 439
file > project Structure > Artifacts > + > jar > from modules…>OK (什么都不用选，直接OK） > 相关依赖包全删，留一个output即可。行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！在工具栏找到Build > Build Artifacts > build。scp /本地/文件/路径 用户名@服务器IP地址:/服务器/目标/路径。
idea配置spark写scala程序
03-16
1. 安装Java环境 首先需要安装Java环境，建议安装Java 8或以上版本。 2. 下载Spark 从官网下载Spark，选择适合自己的版本，建议下载预编译的版本。 3. 配置环境变量 将Spark的bin目录添加到系统环境变量中，以便在命令行中可以直接使用Spark相关命令。 4. 编写Scala程序 使用任何文本编辑器编写Scala程序，保存为.scala文件。 5. 编译Scala程序 使用Scala编译器编译Scala程序，生成.class文件。 6. 运行Spark程序 使用Spark-submit命令提交Spark程序，指定主类和相关参数，即可运行Spark程序。 以上就是配置Spark写Scala程序的基本步骤，具体操作可以参考Spark官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值