spark中重要的两个概念sparkContext,rdds
1. sparkContext是连接spark分布式集群的入口,在scala shell中默认为“sc”
2. rdds叫做弹性分布式数据集,理解为spark分布式环境中的数据,该数据存储在内存之中
整个交互过程如图所示:sparkContext从hadoop的hdfs中取数据源,加载到spark中的rdds中,最后对rdds进行相应的transformation和action操作,在scala shell中如下:
wordcount.txt内容:
hello hadoop
hello spark
A.hadoop中建立分布式文件,并上传文件
hadoop fs -mkdir -p /hadoop/input
hadoop fs -input wordcount.txt /hadoop/input
val lines = sc.textFile("hdfs://master:9000/hadoop/input/wordcount.txt");
lines.foreach(println)