Spark的指令

Master节点存在单点故障，要解决此问题，就要借助zookeeper,，并且启动至少两个Master节点来实现高可靠，配置方式比较简单 :

1.安装配置zk集群，并启动zk集群   zkServer.sh start

2.在root1上执行sbin/start-all.sh脚本，然后在min2上执行sbin/start-master.sh启动第二个Master

3. 进入spark/bin /spark-shell   进入scala模式

4. sc  

scala> sc
res8: org.apache.spark.SparkContext = org.apache.spark.SparkContext@638a2788

5. 创建文件  vi words.txt  ,统计文件单词个数  

sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect

6. 将spark与hadoop结合使用  统计文件单词个数

scala> sc.textFile("hdfs://root1:9000/words.txt").
flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).
sortBy(_._2,false).saveAsTextFile("hdfs://root1:9000/wordcount/out1")

 

WordCount中的RDD