浅谈对spark的理解

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/lieyanhaipo/article/details/76348822

spark中重要的两个概念sparkContext,rdds
1. sparkContext是连接spark分布式集群的入口,在scala shell中默认为“sc”
2. rdds叫做弹性分布式数据集,理解为spark分布式环境中的数据,该数据存储在内存之中
整个交互过程如图所示:sparkContext从hadoop的hdfs中取数据源,加载到spark中的rdds中,最后对rdds进行相应的transformation和action操作,在scala shell中如下:

wordcount.txt内容:
hello hadoop
hello spark

A.hadoop中建立分布式文件,并上传文件

hadoop fs -mkdir -p /hadoop/input
hadoop fs -input wordcount.txt /hadoop/input

val lines = sc.textFile("hdfs://master:9000/hadoop/input/wordcount.txt");
lines.foreach(println) 

这里写图片描述

展开阅读全文

没有更多推荐了,返回首页