Spark API主要有两个抽象部件组成:Spark Context和RDD,应用程序通过这两个部件和Spark进行交互,连接到Spark集群并使用相关资源。
1.Spark Context
是定义在Spark库中的一个类,作为Spark库的入口,包含应用程序 main( ) 方法的Driver program通过Spark Context对象访问Spark,因为Spark Context对象表示与Spark集群的一个连接。每个Spark应用都有且只有一个Spark Context类实例,如果需要新的实例,必须先让当前实例失活。
(在Shell设立了中Spark Context已经自动创建好,就是sc)
val sc = new SparkContext()
2.RDD
RDD基础概念
- 弹性分布式数据集
- 并行分布在整个集群中
把指定路径下的文本文件加载到linex这个RDD中,这个lines就是一个RDD,代表就是整个文本文件
val lines = new sc.textFile("home.haha.helloSpark.txt")
即使这个文件超大,分片存储在多台机器上,操作时可以直接使用RDD对整个文件进行操作。
- RDD时Spark分发数据和计算的基础抽象类
例如:lines.count()
在 . count()的函数操作时在RDD数据集上的,而不是对某以具体分片
- 一个RDD是不可以改变的分布式数据集合对象
就lines来说,如果我们对其待变的源文件进行了增删改查操作,则相当于生成了一个新的RDD,来存放修改后的数据集
- Spark中所有的计算都是通过RDD的创建,转换,操作完成的
- 一个RDD内部由许多 partition(分片)组成
partitions:
每个分片包括一部分数据,分片可在集群不同节点上计算
分片时Spark并行处理的单元,Spark顺序的,并行处理分片
RDD创建方法
1.把一个存在的集合传给Spark Context的parallize()方法(一般测试的时候使用这个方法)
val rdd = sc.parallelize(Array(1,2,2,1),4)
//参数1:待并行化处理的集合;参数2 :分区个数 4
rdd.count()//参看个数
rdd.foreach(print)//查看RDD所有对象
//注意:每次foreach出来数值顺序会不一样,应为数据存储与4个分区,从哪个分出读数值是随机的。
2.加载外部数据集
//用textFile方法加载
//该方法返回一个RDD,该RDD代表的数据集每个元素都是一个字符串,每个字符串代表输入文件中的一行
val rddText = sc.textFile("helloSpark.txt")
//用wholeTextfiles方法加载
//这个方法读取目录下的文本文件,然后返回一个KeyValue对RDD(每一个键值对对应一个文件,key为文件路径,value为文件内容)
val rddw = sc.wholeTextFile