Spark学习之Spark shell

1. 启动spark集群:$SPARK_HOME/sbin/start-all.sh

2. spark-shell --master local[2] 表示在本地运行并给定两个线程

3. 命令
   sc.textFile("/usr/a.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect
   sc.textFile(“file:///root///h.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

   textFile("/usr/a.txt") 表示读取的是hdfs上的文件/usr/a.txt
   textFile(“file:///root///h.txt”) file开头的表示的是读取本地的文件 //表示转义
   flatMap 和Map的区别：
   简单来说，flatMap输入一整行，会输出多个单词
   Map输入一整行，也只会输出一个。
   flatMap和map的区别：就是flatMap是一对多的关系，map只能是一对一的关系。
   _表示的输入的每一个元素
   reduceByKey相当于mapreduce中的reduce，将单词个数进行相加
   collect表示将最后的结果集中