Scala练习集---RDD编程

 RDD：是弹性分布式数据集（Resilient Distributed Dataset）
 DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系；
 Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据；
应用：用户编写的Spark应用程序；
任务：运行在Executor上的工作单元；
作业：一个作业包含多个RDD及作用于相应RDD上的各种操作；
阶段：是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为“阶段”，或者也被称为“任务集”。

分布式文件系统创建文件夹

hadoop@dhjvirtualmachine:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir -p input

查看分布式文件系统

hadoop@dhjvirtualmachine:/usr/local/hadoop$ ./bin/hdfs dfs -ls input

创建RDD

1. 读取外部数据集
2. SparkContext.parallelize()方法在集合上创建

本地文件
scala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/mycode/rdd/w