相关内容参考
专栏:大数据入门
【软件安装】(一)win10安装hadoop 2.8.5(详细步骤)
目录
【已解决】run as 没有Scala Application
1 Scala
1.1 下载scala IDE
1.2 解压安装
得到的是一个压缩包,解压后,点击eclipse.exe即可安装
1.3 示例
1.3.1 新建项目
1.3.2 新建代码
输入代码,并保存。
object HelloWorld {
def main(args: Array[String]): Unit = {
println("Hello, world!")
}
}
1.4 中间遇到的问题参考【已解决】run as 没有Scala Application
2 Spark
2.1 新建一个scala项目
2.2 配置spark
需要往项目里导入jar包,这个jar包是在之前安装spark目录下的,比如:
确定好位置,开始导入
2.3 处理版本问题
上一步结束后,可以发现项目报错,原因在于jar包的scala版本与我们现用的不符合:
降维
项目右键→properties属性→scala compiler
2.4 示例
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.log4j.{Level, Logger}
object one {
Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("map").setMaster("local");
val sc = new SparkContext(conf)
// rdd
var rdd1 = sc.parallelize(1 to 10)
rdd1.collect()
// 打印
rdd1.take(10).foreach(x => println(x))
sc.stop()
}
}