利用Eclipse+Maven创建第一个Java版的Spark开发程序

1、在Eclipse中创建一个Maven工程:

File->New->Project->Maven Project。
接下来参考https://blog.csdn.net/farawayzheng_necas/article/details/54574279
链接中“新建项目”以下的内容。其中“填写Maven project的相关信息”下面对话框中的Name可空着不填。
关于Maven项目了解参考https://www.linuxidc.com/Linux/2018-01/150150.htm

2、添加spark依赖包

右键工程名->Properties->Java Build Path->Libraries->Add External Jars->Spark安装包中的jars(如:/usr/local/spark/jars)

3、修改pom.xml文件

内容如下:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  < modelVersion>4.0.0</ modelVersion>
  <groupId>com.wby</groupId>   //对应自己创建工程时填的
  <artifactId>TestSpark</artifactId> //对应自己创建工程时填的
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>//对应自己创建工程时选的
  <dependencies>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.3.3</version> //对应自己spark版本,可通过启动Spark Shell看到
    </dependency>
    <dependency> 
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-launcher_2.11</artifactId>
      <version>2.3.3</version>
    </dependency>
    <dependency> 
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>2.3.3</version>
    </dependency>    
  </dependencies> 
</project>

4、添加类

参考https://blog.csdn.net/farawayzheng_necas/article/details/54574279
但要按照我的这条博客“Spark开发 Java程序运行时提示异常。。。”做适当修改,否则执行失败。

5、配置JRE System Library

右键JRE System Library->Execution Environment->选择JavaSE-1.8。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值