在idea中构建spark的maven项目

也不知道标题这样说是否有毛病,等功力长进了再来定夺吧.闲来无事,整理一下如何从零开始构建spark项目的maven依赖.首先一个破解版的idea是必须的.这里附上一个Mac版本的安装地址,留着下次自己试试效果.https://blog.csdn.net/qq_17213067/article/details/81449797

构建可以本地测试的spark代码(也就是local模式),使用maven的依赖管理就可以了,无需在本地电脑上安装其他任何东西,这里指Hadoop集群,HDFS,spark集群等 .就是这么简单明了.当然JDK肯定是要本地安装的哈!!!由于使用Scala语言开发,所以本地还需要安装Scala的sdk(与jdk安装相同)!!!

安装好idea之后,需要Scala插件.如果网络不好,下载不成功的话,那就可以去这里下载.https://plugins.jetbrains.com/plugin/1347-scala.这里不会的,自行百度,因为本次整理没有重新弄这个,就不多介绍了.

重点来了,maven中最重要的文件pom.xml.

自己尝试玩玩spark时,在网上借鉴了pom.xml的格式.由于spark需要Hadoop的hdfs和yarn,所以这里加了Hadoop的相关依赖.

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta