IntelliJ IDEA开发spark应用（scala）

最新推荐文章于 2024-05-27 08:29:50 发布

腾阳山泥若

最新推荐文章于 2024-05-27 08:29:50 发布

阅读量323

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/weixin_43486780/article/details/107253855

版权

Spark 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

配置spark环境，可参考
官网下载 IntelliJ IDEA，然后安装，一直next即可

安装Scala插件

创建一个新工程

Ctrl+Shift+Alt+s，导入spark依赖包

Apply应用

新建一个Scala Class

选择Object

使用以下代码测试是否成功，该代码过滤出带有hadoop

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("MyFirstSparkApplication")
    conf.setMaster("local")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("word.txt")
    println("ok!")
    sc.stop()
  }
}