Spark学习: Spark-Scala-IntelliJ编译Jar包流程

最新推荐文章于 2022-11-04 18:08:08 发布
最新推荐文章于 2022-11-04 18:08:08 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark sparkSQL scala IntelliJ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kicilove/article/details/81129075
版权

Spark-Scala-IntelliJ编译可执行Jar包流程。

注意：非Maven环境下，本篇文章接住上一篇文章使用IntelliJ创建Spark项目

第1步：

点击File-project structure-Artifacts，点击+号添加如下
这里写图片描述

第2步：

输入Main class名字(跟运行的主程序名字保持一致),这个可以通过箭头指到的…那里自动选择，防止自己输入错误，点击ok

这里写图片描述

第3步：（重要提醒!!!否则运行出错严重）

勾选所有的Extracted的Jar包，点击—号去掉，并勾选include in project build

这里写图片描述

第4步：

点击菜单栏build-build Artifacts-

最低0.47元/天 解锁文章
kicilove
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-Scala-介绍-教程-入门-手册-调研1
08-03
**Spark与Scala简介** Spark是大数据处理领域的一个高效、通用且可扩展的开源框架，它主要用Scala语言编写。Scala是一种静态类型的编程语言，融合了面向对象和函数式编程的概念，设计目标是提供一种简洁、高生产力...
linux上spark运行scala的jar包
前方的路在刚开始
10-30 1561
1.去掉无关的包，否则将会导致，位置变大，而且会报错mf重复的异常(因为spark中的lib有相关的jar包) 2.在上面的菜单栏中选中build然后选择build Artifact 执行builder 然后包就又了看SnakeProcess.jar出来了 把包丢到有spark环境的服务器上 运行即可成功，--class packge的名称.点 你要跑的类 空格 你打的jar包 .................................
Spark装载数据源、Spark读取Jar包执行Scala操作
绿萝蔓蔓绕枝生
11-16 944
一、装载CSV文件 1、使用SparkContext val conf = new SparkConf().setAppName("CsvDemo").setMaster("local[*]") val sc = new SparkContext(conf) val lines = sc.textFile("in/users.csv") lines.foreach(println) 读取显示效果如下： user_id,locale,birthyear,gender,join
spark-运行 jar 包
杜海的博客
11-08 7708
spark jar 本非方式运行 首先我们通过帮助命令来看spark 如何提交执行jar包 spark-submit --help spark-submit 详细参数说明 --master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local --deploy-mode 在本地 (client) 启动 dr...
scala程序打jar包，spark终端下执行jar包（ spark-submit 提交的几种模式））
唐豌豆的博客
09-23 1672
运行环境 工具：idea2019 条件：maven管理j依赖jar包，建立的是quickstart工程 jar包核心代码 object MySpark { def main(args: Array[String]): Unit = { // val conf = new SparkConf().setMaster("local[*]").setAppName("myjob") // val sc = new SparkContext(conf) // //使用空格分离，words与数字
Spark学习笔记：记第一个Scala 打jar包，遇到的各种问题。
weixin_45126820的博客
05-17 432
跟着spark的官方文档学习简单的语法，敲了一个小demo，尝试打包放到集群上运行。因为自己的无知遇到各种问题。 问题一：Maven package 之后发现target目录下的classes目录下没有生成相应的类。 存在的原因之一：pom.xml 没有配置source的路径。 如果没有配置，默认回去找src/main/java的，加上这么一行指定sourceDirectory的位置，这样maven在打包的时候才知道到哪里去找你要打包的代码。 为什么默认会找到src/main/java呢。这是因为如果你没
spark-schema-registry:适用于Apache Spark的架构注册表集成
05-26
Apache Spark-架构注册表集成...--jars spark-schema-registry-0.1-SNAPSHOT-jar-with-dependencies.jar \ --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 \ --class com.hortonworks.spark.registry.ex
spark所需要的scala jar包依赖
10-25
2. **Scala编译器和运行时**：Scala jar包包括了Scala编译器（用于将Scala源代码编译成Java字节码）和Scala运行时库，这使得Spark可以在集群上执行Scala代码。 3. **Spark依赖的Scala库**：Spark自身依赖于Scala的...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
本教程将基于指定的组件版本，包括Win10家庭版（64位），JDK 1.8.0_171，Hadoop 2.7.6，Spark 2.3.0，Scala 2.11.8，Maven 3.5.3以及IntelliJ IDEA 2018.1.4。所有软件将安装在D:\setupedsoft目录下。 **一、JDK ...
idea 新建项目并打包（java，spark）
01-20
<descriptorRef>jar-with-dependencies <id>make-assembly <phase>package <goal>single ``` 确保`<mainClass>`标签中的类名是你的主程序入口类。 **步骤5：构建与运行** 1. 点击菜单栏的...
IntelliJ IDEA编写Scala代码（安装Scala插件）
邵奈一的博客
12-31 1835
文章目录0x00 文章内容0x01 未安装Scala插件情况1. 无法引入Scala SDK2. 无法编写Scala代码0x02 安装Scala插件1. 自动下载安装Scala插件2. 手动下载安装Scala插件0xFF 总结 0x00 文章内容 未安装Scala插件情况 安装Scala插件 PS：IntelliJ IDEA想要编写Scala代码，需要安装Scala插件 0x01 未安装Sca...
解决Intellij编译Scala编译报错问题
最新发布
qq_62181351的博客
11-04 1277
Intellij编译Scala编译报错
Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
databatman的工厂
08-29 1万+
spark-scala使用IntelliJ搭建的开发环境。
Intellij IDEA开发环境搭建，scala配置及打包，jar包在spark中的运行
sym的博客
11-06 2万+
1. Intellij IDEA 开发环境搭建 最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于Intellij IDEA提供了非常智能的提示功能，所以选择IDEA作为开发环境。Intellij IDEA现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向IDEA，一
scala生成jar包步骤
山谷来客
04-23 1万+
scala生成jar包步骤：        注1：要编译通过后，才能生成jar包；       注2：如果用到了其它模块，如机器学习库、hive库等，要添加相应的jar包，完成编译，再生成jar包  。  step1: step2: step3: step4: step5: step6:
intellij idea 打可运行scala jar 包的两种方式
热门推荐
freecrystal_alex的博客
10-20 2万+
今天折腾了一天 研究 idea 打可运行scala 代码的 jar 包。有些心得记录下来，供大家参考，希望能帮助到一些同事。 此前在网络上有一些关于打jar 包的资料，大都是一些转载，或者介绍的不是很详细。此篇是详细介绍打包过程以及思考推导方式，供大家参考。 此文章分为 通过IDEA 打可执行jar 包和 通过 idea maven 打可执行jar 包两种方式介绍。 IDEA 打可执
基于IDEA使用Spark API开发Spark程序
weixin_33701294的博客
04-17 325
清明假期折腾了两天，总结了两种方式使用IDE进行spark程序，记录一下：第一种方法比较简单，两种方式都是采用SBT进行编译的。注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式，点击“Next”命名工程，其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修...
Idea使用Maven编译scala和打包jar
TheManOfCoding的博客
04-04 2613
下面Maven的pom文件[html] view plain copy&lt;properties&gt;      &lt;maven.compiler.source&gt;1.7&lt;/maven.compiler.source&gt;      &lt;maven.compiler.target&gt;1.7&lt;/maven.compiler.target&gt;      &lt;e...
Spark入门：黄宜华、顾荣讲解Scala与Spark架构
在这一章中，我们主要探讨了与Spark相关的几个关键知识点，包括Scala编程语言的介绍、Spark产生的背景、Spark架构的基础组成、程序执行流程、技术特点以及编程模型和接口。以下是这些知识点的详细说明： 1. **Scala...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值