Spark-Shell的启动和运行

一、 RDD基本概念

RDD——分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度

二、运行spark-shell命令

执行spark-shell命令就可以进入Spark-Shell交互式环境

[root@hadoop1 spark-2.1.0-bin-hadoop2.4]# spark-shell

 三、Spark Rdd简单操作

1.从文件系统加载数据创建RDD----textFile

（1）从Linux本地文件系统加载数据创建RDD

scala> val rdd = sc.textFile("file:///root/word.txt")
scala> rdd.collect()

（2）从HDFS中加载数据创建RDD 

在主机hadoop1中创建文件目录，并将word.txt传进去

[root@hadoop1 ~]# hadoop fs -mkdir -p /spark/test
[root@hadoop1 ~]# hadoop fs -put word.txt /spark/test

在HDFS上的/spark/test的目录下有个word.txt文件，通过加载HDFS的数据创建RDD

scala> val rdd = sc.textFile("/spark/test/word.txt")

scala> rdd.collect()

执行上述代码后，从返回结果中看出RDD创建完成，其中参数也可以是  hdfs://hadoop1:9000/spark/tes