环境:
jdk 1.18
scala 2.12.0
ubuntu 16.04
Intellij IDEA 2017.1
spark 2.1.0
步骤:
2、安装intellij IDEA并且下载scala plugin
遇到问题1:
scala plugin 下载出现错误:connect time out等
直接
点击下载就进入:
先下移动滚动条:
离线下载完毕:
点击下载的安装包,选择OK
最后重启intellij IDEA
3.搭建spark
选择创建工程
选择scala(IDEA其实就是scala,),如果没有安装sbt就没有sbt这个选项
选择Modues,"+"
不要使用默认的name,有时会报错
右击,选择添加文件夹
命名
导入spark的包
方法一:在spark.apache.org官网上下载(1.5版本以后都没jar包)
方法二:在自己下载spark环境下,找到jars,添加适合的.jar
在scala文件下
选择Object
进入的界面为:
spark环境搭建完毕!!!
如果遇到问题二:
主要是:
文件夹的都是source类型的,在intellij IDEA在大约2.10.0版本之后,选择三个文件为source类型的,编译都会出错。保留一个source文件夹,个人选择