在idea中构建spark的maven项目

本文介绍了如何在IntelliJ IDEA中从零开始构建Spark Maven项目,无需本地安装Hadoop集群等。重点讲述了配置pom.xml文件以包含Spark和Hadoop依赖,以及遇到的`java.lang.NoSuchMethodError`问题的解决方法,通过调整Hadoop相关依赖解决问题。
摘要由CSDN通过智能技术生成

也不知道标题这样说是否有毛病,等功力长进了再来定夺吧.闲来无事,整理一下如何从零开始构建spark项目的maven依赖.首先一个破解版的idea是必须的.这里附上一个Mac版本的安装地址,留着下次自己试试效果.https://blog.csdn.net/qq_17213067/article/details/81449797

构建可以本地测试的spark代码(也就是local模式),使用maven的依赖管理就可以了,无需在本地电脑上安装其他任何东西,这里指Hadoop集群,HDFS,spark集群等 .就是这么简单明了.当然JDK肯定是要本地安装的哈!!!由于使用Scala语言开发,所以本地还需要安装Scala的sdk(与jdk安装相同)!!!

安装好idea之后,需要Scala插件.如果网络不好,下载不成功的话,那就可以去这里下载.https://plugins.jetbrains.com/plugin/1347-scala.这里不会的,自行百度,因为本次整理没有重新弄这个,就不多介绍了.

重点来了,maven中最重要的文件pom.xml.

自己尝试玩玩spark时,在网上借鉴了pom.xml的格式.由于spark需要Hadoop的hdfs和yarn,所以这里加了Hadoop的相关依赖.

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值