从Intellij IDEA开始第一个Spark程序

先前在Windows上倒腾了一份Scala的开发环境,然后换到Mac环境上,重新来了一遍,为了防止自己的再度忘记,记录在本博客中。

好,废话不说,开始。

1:Intellij IDEA的安装

习惯用Eclipse了,最近才开始使用Intellij IDEA,感觉功能还是很强大的;这里只讲述具体的安装,我安装的是community版本,2017.3.15的版本,最近更新的社区版本了。

下载地址

里面有windows版本和eclipse版本,我使用的是mac版本。

2:安装scala插件

这个花费了不少的时间,国内的网速实在太慢,下载地址放在此处,资源无法上传,大家只能自己下载了。

链接:https://pan.baidu.com/s/11jw27AnVwS8RfLebdU6ckw  密码:hb5i

具体操作情况如下:


如图所示,打开preference,点击Plugins,接着搜索scala,最新兼容版本是2017.3.11的scala,这个下载非常慢,所以点击从本地安装即可。

注意,这里安装的必须是压缩包,文件夹无法导入的。

安装之后,基本都会让重启的,重启一下即可。

3:开始第一个spark程序

重启之后,新建一个工程,看网上大多说的都是直接新建scala工程,我试了下,很多情况下都会导致运行配置搞不懂,因此自己想了个办法,新建了个Maven工程,如下:


这么新建一个工程之后,我们通过maven就可以很完美地启动一个类了。

点击之后,开始工程的新建:

接着,一路下去,一个maven工程就会创建完毕。

接着,就是我们真正编写一个新的spark工程的代码了。

通常来说,这个逻辑新建的maven工程,都会默认引入junit测试包,不用管它。

4:为我们的maven工程,导入sdk环境

这个环境,可以自己下载,然后让idea自动识别即可,我这边用的是sdk 2.11.0。


注意,是在Global Libraries内导入的Scala sdk。

5:这个导入完毕之后,基本环境就搭建完毕了,接下来,修改pom文件,增添我们的spark-core。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yuzhao.yang</groupId>
  <artifactId>secondscala</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>secondscala</name>
  <url>http://maven.apache.org</url>
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.2.0</version>
    </dependency>

  </dependencies>
</project>

6:如此配置文件之后,maven导入完毕,开始第一个scala程序。

package com.yuzhao.yang
import org.apache.spark.{SparkContext, SparkConf}
object AnotherTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("test").setMaster("local[4]")
    val sc = new SparkContext(conf)
    val rdd1 = sc.parallelize(List(1,2,3))
    print(rdd1.reduce(_+_)
  }
}

至此,一个成功的scala环境搭建完毕,可以展开你的spark之旅了。

发布了61 篇原创文章 · 获赞 185 · 访问量 14万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览