Spark-Shell启动与运行

一、运行spark-shell命令

        进入spark-2.1.0-bin-hadoop2.4目录下 输入spark-shell命令

 二、Spark Rdd简单操作

        1.在Linux本地文件加载数据 创建Rdd

collect()

以数组的形式返回数据集的所有元素

val rdd = sc.textFile("file:///root/word.txt")
rdd.collect()

        2.rdd中简单的运算和排序 

map()	返回一个新的rdd，rdd由每一个输入元素经过函数转换后组成。
sortBy()	返回一个新的rdd,   rdd由经过排序后组成
filter()	返回一个新的rdd，rdd由经过函数计算后返回值为true的输入元素组成。
collect()	以数组的形式返回数据集的所有元素

val rdd1 = sc.parallelize(List(5, 4, 6, 7, 3, 2, 8, 9, 1))
//rdd1中的每个元素乘2
val rdd2 = rdd1.map(x => *2)
//对rdd2中的每个元素进行升序(降序)
val rdd3 = rdd2.sortBy(x => x, true(false))
//过滤在rdd3中大于10的元素
val rdd4 = rdd3.filter(x => x >= 10)
将元素以数组的方式显示
rdd4.collect()

        3.rdd中元素的切分并按照放入同一个数组

flatMap()

类似于map，但输入元素可以被映射，用于词频拆分

val rdd1 = sc.parallelize(Array("a b c", "d e f", "h i j"))
val rdd2 = rdd1.flatMap(x => x.split(' '))
rdd2.collect()

        4.rdd中求交集、并集以及去重操作

union()	对第一个rdd和第二个rdd求并集后返回一个新的rdd
intersection()	第一个rdd和第二个rdd求交集后返回一个新的rdd
distinct()	将rdd中的数据进行去重后返回一个新的rdd
collect()	以数组的形式返回数据集的所有元素

val rdd1 = sc.parallelize(List(5, 6, 4, 3))
val rdd2 = sc.parallelize(List(1, 2, 3, 4))
val rdd3 = rdd1.union(rdd2)
val rdd4 = rdd1.intersection(rdd2)
rdd3.distinct.collect()
rdd4.collect()

        5.rdd中连接操作

join()	返回相同的key对应的所有元素
collect()	以数组的形式返回数据集的所有元素

val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2)))
val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))
//将rdd1和rdd2连接
val rdd3 = rdd1.join(rdd2)
rdd3.collect()

        6.map,reduce相似操作

groupByKey()	返回一个(l,iterator[数据类型]) 的rdd
reduceByKey()	在一个(k,v)对的rdd上调用，返回一个新的(k,v)对rdd，用于统计
collect()	以数组的形式返回数据集的所有元素

val rdd = sc.parallelize(Array("hello java, hello mysql, hello hadoop"))
val rdd2 = rdd.flatMap(x => x.split(" "))
val rdd3 = rdd2.map(x => (x,1))
val rdd4 = rdd3.groupByKey()
val rdd5 = rdd3.reduceByKey((a,b) => a+b))
rdd5.collect()

三、Rdd编程API

map()	返回一个新的rdd，rdd由每一个输入元素经过函数转换后组成。
sortBy()	返回一个新的rdd,   rdd由经过排序后组成
filter()	返回一个新的rdd，rdd由经过函数计算后返回值为true的输入元素组成。
flatMap()	类似于map，但输入元素可以被映射，用于词频拆分
join()	返回相同的key对应的所有元素
groupByKey()	返回一个(l,iterator[数据类型]) 的rdd
reduceByKey()	在一个(k,v)对的rdd上调用，返回一个新的(k,v)对rdd，用于统计
collect()	以数组的形式返回数据集的所有元素