IntelliJ IDEA打jar包--scala class--提交到java或者spark运行

最新推荐文章于 2022-12-08 10:24:59 发布
最新推荐文章于 2022-12-08 10:24:59 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： Spark 文章标签： IntelliJ scala jar spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kicilove/article/details/79973104
版权
编译文件并且打成jar包，运行jar包第一步：file–>artifacts填写相关内容后返回第二步：build–>build artifacts–>build 在刚刚我们选择的保存目录下找到.jar文件第三步：提交运行在java下运行 在spark-shell中提交运行 不加spark-shell的路径提交也OK...
摘要由CSDN通过智能技术生成

编译文件并且打成jar包，运行jar包

第一步：file–>artifacts填写相关内容后返回

这里写图片描述

第二步：build–>build artifacts–>build
在刚刚我们选择的保存目录下找到.jar文件

这里写图片描述

第三步：提交运行

  1. 在java下运行
    这里写图片描述

  2. 在spark-shell中提交运行
    这里写图片描述

  3. 不加spark-shell的路径提交也OK

这里写图片描述

kicilove
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark：Idea编译程序打jar包部署到spark运行方法--19
花满楼
03-30 2471
感觉没个老师带着学spark真是举步维艰啊···一个问题能卡了2天才解决···写一下这俩天的收获吧··· //////////////////////////打包 1.Project Structure 2.Artifacts --- +jar --- From module with··· --- main class --- ok 3.class paths 要填？？/usr/local/s
IDEA将scala代码打成jar包
激进的蜗牛
08-26 1002
通过maven将scala代码打jar包 1-添加maven依赖 将一下代码插入到<project></project>标签中 <build> <plugins> <plugin> <groupId>org.apache.maven.plugin...
IDEA打包scala的jar包文件
vincent_nkcs的博客
05-10 2457
File -> Project Structure -> Artifacts -> 选择’+'号 -> JAR -> From modules with dependencies -> OK Output directory为打包的jar包路径，需要打包依赖的不用修改，不需要的删掉依赖jar包，只剩下一个complie output文件即可，一般来说spark...
IDEA打包Spark程序为jar包，并运行
qq_43719388的博客
10-27 4565
1、编辑需要运行的spark代码 最好是在linux环境的spark-shell，测试成功 package cn.edu.swpu.scs import org.apache.spark.{SparkConf, SparkContext} object App { def main(args: Array[String]){ val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val
IntelliJ IDEA环境中打包+上传主机，spark-submit提交执行
艾@七的专栏
05-14 3722
这是上一篇文章的续集，同样适合小白第一次尝试spark，主要是如何在IntelliJ IDEA中对程序打包，上传主机，通过spark-submit来提交执行。
idea 新建项目并打包（java，spark）
01-20
在本文中，我们将详细探讨如何使用IntelliJ IDEA（Idea）创建一个新的Java项目，并集成Spark框架进行打包。首先，我们需要了解的是Idea是JetBrains公司开发的一款强大的Java集成开发环境，它支持多种编程语言，包括...
基于Java、Scala和Spark的数据处理与分析设计源码
最新发布
04-05
本资源提供了一套基于Java、Scala和Spark的数据处理与分析设计源码，包含1381个文件，其中包括634个CRC文件，316个BK文件，35个Class字节码文件，20个XML配置文件，15个Java源代码文件，13个JAR打包文件，8个...
spark所需要的scala jar包依赖
10-25
这可以通过设置`--jars`选项来实现，或者在使用`spark-submit`命令时指定`--class`和`--assembly-jar`参数，如果你已经将所有依赖项打包成一个fat jar。 6. **集群环境的Scala版本**：在分布式环境中，集群的每个...
sparksql打包运行demo
04-07
bin/spark-submit --class "SparkSqlApp" --master local[2] path/to/your/jar.jar ``` 参数`--class`指定了主类，`--master`定义了Spark运行模式，`path/to/your/jar.jar`是你的JAR文件路径。 5. **日志和调试*...
Spark笔记1
08-08
./spark-submit --master yarn --deploy-mode client --class testALS scalatest2.jar /input/ratings.dat 0.8 12 0.068 20 ``` 其中： - `--master yarn`: 指定运行模式为YARN。 - `--deploy-mode client`: 指定...
IDEA 创建scala工程并打指定的依赖包
08-11
该文档主要使用IDEA进行scala工程的创建以及打依赖的jar包，步骤详细。 为了感谢大家的支持,现在把积分调整到1积分,更好的为大家提供帮助.
使用IDEA进行scala打包运行
qq_45864778的博客
01-10 3594
前言 IDEA的安装、创建maven工程和scala编程不是本文的重点，这里主要介绍打包并放至spark集群上运行的方法。（具体安装和配置操作的参考链接：https://blog.csdn.net/s863222424/article/details/102979162 具体步骤 创建一个scala class文件，写上一段简单的scala代码。 package main.scala obj...
idea下将scala编写的项目打成jar包
weixin_59371977的博客
08-18 3984
在idea下将scala编写的spark项目打包成jar
idea 运行Spark-Scala发生错误：Caused by: java.lang.reflect.InaccessibleObjectException解决方式
piaow_的博客
10-15 3052
完整错误：Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make private java.nio.DirectByteBuffer(long,int) accessible: module java.base does not "opens java.nio" to unnamed module @4ddced80
idea新建scala文件_通过IDEA搭建scala开发环境开发spark应用程序
weixin_39781599的博客
12-19 517
一、idea社区版安装scala插件因为idea默认不支持scala开发环境，所以当需要使用idea搭建scala开发环境时，首先需要安装scala插件，具体安装办法如下。1、打开idea，点击configure下拉菜单中的plugins选项：2、在弹出对话框中点击红框按钮：3、在弹出最新对话框的搜索栏输入scala，在筛选出的内容中选择红框部分，点击右侧install按钮开始下载插件：本人在测试...
Scala 在Intellij中搭建Scala环境（jdk8,scala2.11.4）
写博客只为学习
06-02 1198
1.打开Intellij然后点击File->Plugins找到scala安装scala插件 2.安装scala环境（配置环境变量版本用2.11.4） 3.安装jdk8 4.创建scala项目 点击File->New->Project中的scala 然后点击SBT项目 选择你的jdk和scala版本 [img]http://dl2.iteye.com/upload/atta...
IDEA中的Build Artifacts详解
向Stack Overflow的大牛学习，编写文章尽量详细。
12-08 1万+
介绍了IDEA中Build Artifects的使用说明，重点说明了不同选项的含义。
intellij idea 打可运行scala jar 包的两种方式
热门推荐
freecrystal_alex的博客
10-20 2万+
今天折腾了一天 研究 idea 打可运行scala 代码的 jar 包。有些心得记录下来，供大家参考，希望能帮助到一些同事。 此前在网络上有一些关于打jar 包的资料，大都是一些转载，或者介绍的不是很详细。此篇是详细介绍打包过程以及思考推导方式，供大家参考。 此文章分为 通过IDEA 打可执行jar 包和 通过 idea maven 打可执行jar 包两种方式介绍。 IDEA 打可执
使用idea打包scala程序，并在spark中提交运行
weixin_42487460的博客
07-29 999
一、pom文件中build修改 <build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <execut
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值