RDDs相关概念介绍

一 Driver program

包含程序的main()方法，RDDs的定义和操作。

它管理很多节点，我们称作executors

二 SparkContext

1 介绍

Driver program通过SparkContext对象访问Spark

SparkContext对象代表和一个集群的连接

在Shell中SparkContext自动创建好了，就是sc

2 示例

scala> val lines = sc.textFile("/root/helloSpark.txt")
lines: org.apache.spark.rdd.RDD[String] = /root/helloSpark.txt MapPartitionsRDD[1] at textFile at <console>:24

三 RDDs

1 介绍

Resilient  distributed