本地安装好java和scala并创建工程WordCount
第一步:修改依赖的Scala版本为Scala 2.10.x(改为本地对应版本)
第二步: 加入spark 1.6 jar文件依赖
第三步: 找到依赖的spark jar文件 ,并导入到eclipse中的jar依赖
第四步:在src下建立spark工程包
第五步: 创建Scala入口类
第六步: 把class 变成 object 并编写main入口方法
使用Scala开发本地测试的Spark WordCount程序
package spark
//使用Scala开发本地测试的Spark WordCount程序
import org.apache.spark.SparkConf
object workcount {
def main(args:Array[String]){
// 第一步:创建Spark的配置对象SparkConf,设置Spark程序的运行时的配置信息。
//例如说通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置为local,则代替Spark程序在本地运行,特别适合于机器配置条件非常差(只有1G的内存)的初学者。
val conf = new SparkConf();//创建SparkConf对象
conf.setAppName("First Spark App!!!") //设置应用程序的名称,在程序运行的监控界面可以看到名称
//conf.setMaster("local") //此时,程序在本地运行,不需要安装Spark集群
//第二步:创建SparkContext对象SparkContext是Spark程序所有功能的唯一入口,无论是采用Scala、Java、Python、R等都必须有一个S