rdd笔记

spark的基本流程是:

1.确定spark参数，例：sparkconf=Sparkconf.setAppName().setMaster("local")

2.建立sparkcontext，相当于建立一个链接，例：sc=SparkContext(sparkconf)

3.导入数据，初步形成rdd，base_rdd=sc.textfile()

rdd基本元素在结果上表现为原集合的元素（只是发配到其他计算机上了），对rdd的操作分两种，一种是转化，转化之后还是rdd，一种是操作，操作之后不再是rdd（通常都要将rdd中元素返还到驱动器）。尽管rdd的运行结果是一个映射到不同计算机上的数据集（把原集分解投入），但是rdd本身不会保存这些集合，因为通常使用并行计算时数据量级过大，如果保存每次结果需要贮存空间过多，通常只在实际对rdd进行操作时才会重新计算。所以rdd想当于一个结果为映射到不同计算机上的数据集（把原集分解投入）的指令表。

代码：

import org.apache.spark.{SparkContext, SparkConf}
object Structure {
  def main(args:Array[String]): Unit ={
    val sparkconf=new SparkConf().setAppName("fortest").setMaster("local")
    val sc=new SparkContext(sparkconf)
    val base_rdd=sc.parallelize(List("abss","s , a","dd ee","aa"))
    val map_rdd=sc.parallelize(List("abss","s , a","dd ee","aa")).map(x=>x+"a")
    val collect_rdd=map_rdd.collect()
    val base_rdd_class=base_rdd.getClass()
    println("base_rdd"+"  "+base_rdd_class)
    println("map_rdd"+"  "+map_rdd)
    println("collect_rdd"+"  "+collect_rdd.getClass())
    val ss="asss".getClass()
    println(ss)
    base_rdd.foreach(println)
  }

}

结果：

base_rdd  class org.apache.spark.rdd.ParallelCollectionRDD
map_rdd  MapPartitionsRDD[2] at map at Structure.scala:10 //还是rdd但是定义了谱系图
collect_rdd  class [Ljava.lang.String;
class java.lang.String

abss
s , a
dd ee
aa