idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

最新推荐文章于 2024-08-14 15:04:27 发布
最新推荐文章于 2024-08-14 15:04:27 发布
阅读量1.1w 收藏 22
点赞数 2
分类专栏： spark学习 文章标签： idea maven scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011470552/article/details/54564636
版权
本博客详细介绍了如何利用IntelliJ IDEA、Maven和Scala来创建一个WordCount应用，然后将该应用打包成JAR，并在Spark on YARN环境下运行。重点强调了配置、打包过程以及提交到YARN的步骤，最终展示了成功运行的结果。
摘要由CSDN通过智能技术生成
1、 创建基于maven的scala项目步骤
（1）创建一个maven项目
File->new project -> maven
 
不需要选择archetype，直接点击Next
 
Next
 
Finish,完成创建。项目目录如下:
 
（2）将scala添加到项目中
Add framework support
 
选择scala，以及对应的scala-sdk,完成后点击ok!
 
最低0.47元/天 解锁文章
流式数据采集和计算（六）：IDEA+MAVEN+Scala配置进行spark开发
叶子叶来
12-12 8529
一、环境配置 IDEA作为常用的开发工具使用maven进行依赖包的统一管理，配置Scala的开发环境，进行Spark Streaming的API开发； 1、下载并破解IDEA，并加入汉化的包到lib，重启生效； 2、在IDEA中导入离线的Scala插件：首先下载IDEA的Scala插件，无须解压，然后将其添加到IDEA中，具体为new---setting--plug...
IDEA打包Scala开发的Flink程序并部署到服务器运行
zhengzaifeidelushang的博客
11-03 735
IDEA打包scala开发的Flink程序并部署到服务器运行 一、Scala开发的Flink代码 package com.bigdata.wc import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ object WordCount { def main(args:Array[String]):Unit={ //创建一个批处理的执行 val env:ExecutionEnv
java spark on yarn_Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐）...
weixin_32464651的博客
02-24 327
前期博客Spark On YARN模式这是一种很有前景的部署模式。但限于YARN自身的发展，目前仅支持粗粒度模式(Coarse-grained Mode)。这是由于YARN上的Container资源是不可以动态伸缩的，一旦Container启动之后，可使用的资源不能再发生变化，不过这个已经在YARN计划中了。spark on yarn 的支持两种模式：1) yarn-cluster：适用于生产环境...
Spark on YARN--WordCount、TopK
ckl_soft的专栏
05-11 3685
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ object HdfsWordCount {
深度解析：NPM、PNPM、Yarn 包管理工具的介绍与对比
最新发布
Caleb的博客
08-14 1136
NPM 是 Node.js 的默认包管理工具，也是最早出现的 JavaScript 包管理工具。随着 Node.js 的流行，NPM 也成为了前端开发中最广泛使用的包管理工具之一。Yarn 是由 Facebook 在 2016 年推出的包管理工具，旨在解决 NPM 的一些性能和安全问题。Yarn 在保证兼容 NPM 的基础上，引入了一些新特性，提升了包管理的效率和可靠性。PNPM 是一种更现代的包管理工具，采用了独特的“硬链接”技术，极大地节省了磁盘空间，并提升了安装速度。
通过IDEA搭建scala开发环境开发spark应用程序
weixin_34235135的博客
11-19 430
一、idea社区版安装scala插件因为idea默认不支持scala开发环境，所以当需要使用idea搭建scala开发环境时，首先需要安装scala插件，具体安装办法如下。1、打开idea，点击configure下拉菜单中的plugins选项：2、在弹出对话框中点击红框按钮：3、在弹出最新对话框的搜索栏输入scala，在筛选出的内容中选择红框部分，点击右侧install按钮开始下载插件：本人在测试...
Spark on Yarn上实现WordCount程序
Programmer_Story的专栏
01-06 1103
在Spark on Yarn上运行WordCount程序
scala编写wordcount打包集群运行
Romantic_sir的博客
11-13 214
1、IDEA中新建maven工程 2、pom文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
IDEA创建基于Scala语言的Spark Maven项目及WordCount
hannah_7的博客
02-27 379
IDEA创建基于Scala语言的Spark Maven项目及WordCount 前提概要须知：使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12。 一、创建Maven项目 1.1、下载有 Scala 开发插件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020
用idea新建maven项目，创建Scala项目--做个记录
Alex的博客
06-15 3557
最近需要个干净的spark项目，之前项目上的项目太过复杂，就索性搭建一个全新的spark-java maven项目，做个记录，免得下次又得找，步骤如下： 一、 新建maven项目 1. File-> New -> project -> macen -> 勾选Create From archetype 2. 设置GroupID和ArtifactID （这个你看这写），点击next 3.配置maven，如果不配最后进到项目也可以配置，建议提前配好；file->set
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 950
spark环境配置及IDEA配置，Spark入门
Spark打包WordCount程序的jar包
sa726663676的博客
09-05 810
首先打开File->Project Structure。如图。 然后选择Artifacts->绿色加号->Jar->From moduleswith dependencies…如图 选择Main Class，如图 然后因为我们只是在Spark上运行的，所以我们要删除下图红框里多余的部分，保留WordCount.jar以及‘WordCount’ compile output。小提示，这里可以利用Ctrl+A全选功能，选中全部选项，然后，配合Crtl+鼠标左键..
Intellij IDEA开发环境搭建，scala配置及打包，jar包在spark中的运行
热门推荐
sym的博客
11-06 2万+
1. Intellij IDEA 开发环境搭建 最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于Intellij IDEA提供了非常智能的提示功能，所以选择IDEA作为开发环境。Intellij IDEA现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向IDEA，一
IDEA中scala实现word_count，sbt打jar包，并发送linux中spark运行(sbt打包详细)
weixin_41512727的博客
04-24 1630
文章目录0-背景1-spark安装2-IDEA开发3-参考 0-背景 最近因为业务需求，开始鼓捣下kafka和spark。因为也是第一次做这方面的内容，而且没玩过java和scala。所以这个word count的例子，鼓捣了近两天才出结果。 整个流程如下：首先搭建虚拟机，安装ubuntu。然后在linux中安装spark。最后再本地的IDEA中开发scala，并打包jar包，发送到spark系统...
在yarn中的运行wordcount
zhangvalue的博客
06-15 3456
在hadoop中进行提交作业到yarn运行MapReduce运算wordcount①首先保证yarn正常启动了②切换到hadoop安装目录之下的share目录zhangsf@hadoop1:/opt/hadoop-2.6.5/share/hadoop/mapreduce$ pwd /opt/hadoop-2.6.5/share/hadoop/mapreduce找到examples的jar包/opt...
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
2301_78409414的博客
06-05 908
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式
SHZHJ2000的博客
03-24 216
一、Yarn集群概述及搭建 　　1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！ 　　2.Yarn提交任务的流程： 　　　　当我们向Yarn集群提交任务后，Yarn通过Resourcemanager给任务分配资源，然后由NodeManage...
Spark On Yarn 远程idea提交运行(不是调试)
ielcome2016的博客
01-21 2292
Spark On Yarn 远程idea提交运行(不是调试) 1. 需要注意的问题 1.1 centos搭建的集群会出现is running beyond virtual memory limits的问题 Current usage: xx MB of xxGB physical memory used; xx GB of xx GB virtual memory used. 解决方法: # ...
搭建idea+maven+spark+scala项目
05-17
下面是搭建idea+maven+spark+scala项目的步骤： 1. 安装JDK和Scala环境。 2. 安装Maven。 3. 在IDEA中创建Maven项目。 4. 在pom.xml文件中添加依赖，包括Spark和Scala相关依赖。 5. 在src/main/scala目录下创建...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值