浅谈对spark的理解

spark中重要的两个概念sparkContext,rdds
1. sparkContext是连接spark分布式集群的入口，在scala shell中默认为“sc”
2. rdds叫做弹性分布式数据集，理解为spark分布式环境中的数据，该数据存储在内存之中
整个交互过程如图所示：sparkContext从hadoop的hdfs中取数据源，加载到spark中的rdds中，最后对rdds进行相应的transformation和action操作,在scala shell中如下：

wordcount.txt内容：
hello hadoop
hello spark

A.hadoop中建立分布式文件，并上传文件

hadoop fs -mkdir -p /hadoop/input
hadoop fs -input wordcount.txt /hadoop/input

val lines = sc.textFile("hdfs://master:9000/hadoop/input/wordcount.txt");
lines.foreach(println)