Spark学习

Standalone 模式（官网推荐）http://spark.apache.org/

1.下载spark-1.2.1-bin-hadoop2.4.tgz 并解压缩

2.进入conf目录，修改spark-env.sh.template为spark-env.sh   修改slaves.template为slaves

3.修改slaves文件，添加从节点的ip或者主机

4.修改spark-env.sh文件，里面的SPARK_MASTER_IP为主节点IP。在空白处添加exportSPARK_MASTER_IP=XXX

5.将配置文件复制到各个节点

6.执行sbin目录下的start-all.sh启动spark。会分别在主节点启动master进程，在从节点启动worker进程。

7.查看master上启动日志可查看masterwebui地址，可通过网页查看spark集群信息。（http://主节点主机:8080）

8.执行bin目录下spark-shell.sh进入shell环境

如果在windows环境下启动spark学习，可直接执行bin目录下的spark-shell.cmd即可。

spark基础

解压spark-1.3.1-bin-hadoop2.6 bin目录下执行spark-shell.cmd启动本地模式的spark

启动后就可以使用spark的api处理数据

scala> var rdd = sc.textFile("f:/a.txt").collect    代表读取本地f盘文件a.txt，并显示内容   sc=SparkContext

scala> var rdd = sc.textFile("f:/test/*").collect    读取test文件夹下所有文件，并显示内容

执行wordcount

scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).collect

按每个key排序

scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().collect

按每个key倒序排序

scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey(false).collect

统计数量

scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().count

将结果输出到b文件夹下，会自动在文件夹下创建文件并保存

scala> var rdd = sc.textFile("f:/a.txt").flatMap(_.split("\t")).map(x=>(x,1)).reduceByKey(_+_).sortByKey().saveAsTextFile("f:/b/")