IDEA 编写 第一个spark项目

{“name”:“Andy”, “age”:30}

{“name”:“Justin”, “age”:19}

运行会出现以下成功提示

如何打包到集群？

右击项目，选择 Open in Terminal，进入CMD控制台

输入Maven编译命令

mvn clean package -DskipTest

接下来把 jar 包上传至 Linux 服务器上，通过 spark-submit 提交 jar 到集群

客户端模式

spark-submit \

–class com.xtd.spark.Example \

–deploy-mode client \

/home/spark/jar/spark2-1.0.jar \

file:///home/spark/examples/employees.json

spark on yarn

spark-submit \

–class com.xtd.spark.ExampleHDFS \

–master yarn \

–deploy-mode cluster \

–driver-memory 2g \

–executor-cores 1 \

–executor-memory 1g \

/home/spark/jar/spark-1.0.jar \

/user/spark/examples/resources/employees.json

注意事项

/home/spark/jar/spark-1.0.jar 是jar包在Linux上的路径，jar包上传在哪就写哪

file:///home/spark/examples/employees.json 这行是传递的参数，file://表示employees.json文件在Linux上

更多参数设置可以输入命令 spark-submit --help

运行结果

如果Maven项目已经创建，可右键点击项目添加Scala框架的支持，然后选择Scala，在源码目录便可创建Scala代码

如果Scala SDK没有配置需要先配置 Scala SDK

如果需要项目需要分模块，可直接删除父目录的src文件，然后再创建子模块（创建方式和创建普通Maven项目一样）

在 Maven build plugins 标签中使用 maven-assembly-plugin 可将程序包和依赖jar包一起打出来

maven-assembly-plugin

jar-with-dependencies

com.marinfo.demo.RunTaskVersion2

make-assembly

package

single

总结

我个人认为，如果你想靠着背面试题来获得心仪的offer，用癞蛤蟆想吃天鹅肉形容完全不过分。想必大家能感受到面试越来越难，想找到心仪的工作也是越来越难，高薪工作羡慕不来，却又对自己目前的薪资不太满意，工作几年甚至连一个应届生的薪资都比不上，终究是错付了，错付了自己没有去提升技术。

这些面试题分享给大家的目的，其实是希望大家通过大厂面试题分析自己的技术栈，给自己梳理一个更加明确的学习方向，当你准备好去面试大厂，你心里有底，大概知道面试官会问多广，多深，避免面试的时候一问三不知。

大家可以把Java基础，JVM，并发编程，MySQL，Redis，Spring，Spring cloud等等做一个知识总结以及延伸，再去进行操作，不然光记是学不会的，这里我也提供一些脑图分享给大家：

希望你看完这篇文章后，不要犹豫，抓紧学习，复习知识，准备在明年的金三银四拿到心仪的offer，加油，打工人！

，不然光记是学不会的，这里我也提供一些脑图分享给大家：

[外链图片转存中…(img-nwO8vqgc-1714122166919)]

[外链图片转存中…(img-2N73SEpx-1714122166919)]

[外链图片转存中…(img-o4z4U5z7-1714122166920)]

希望你看完这篇文章后，不要犹豫，抓紧学习，复习知识，准备在明年的金三银四拿到心仪的offer，加油，打工人！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录