Spark的简单实验（一）

在idea中进行操作

//System.setProperty("hadoop.home.dir","+hadoop路径")去解决could not locate winutils.exe的问题
//spark配置，指定任务的名称，指定资源管理器等
val conf=new Sparkconf()
//本地模式（方便实验，开启本地的进程执行程序）
conf.setMaster("local")
conf.setAppName("RDD")//设置任务名称主要使用在后台监控的，在本地所以没有任何意义

//入口
val sc=new SparkContext(conf)

//数据的输入源
/*
从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。
从父的RDD转换的到新的RDD。
从数据集合转换而来，通过编码实现。
*/
//内部数据输入源，是内存中输入数据，例如：数组,列表 用于实验环境的
val lst=List（1，2，3，4，5）
val rdd=sc.parallelize(lst)
/*
基于内存考虑
1.惰性求值：在进行计算的时候，转化算子是不会触发计算的，只有行动算子才会触发计算，否则不执行就是浪费在内存中
2.重新计算：一个RDD一旦计算完毕，内存资源就会被立刻释放
什么是算子？
算子可以理解为一个操作，也可以理解为RDD中的一个方法
1.transformation转换算子  从1个RDD转化到另外一个RDD，返回值是RDD就一定是转化算子
RDD中数据是只读的，不能随意修改（出于安全性，如果想要修改只能生成一个新的RDD），和元组有一点相似
2.action算子，
RDD最终的计算结果，如果返回值是其他，就是action算子
可以看以下rdd.map 和 rdd.foreach中返回值的区别，点一下ctrl+左键就可以看到返回值了
*/

//外部输入源，从外部获取text文件
//sc.textFile()

val rdd1=rdd.map((x:Int) => {
    println("x="+x)
   // x*2
})//.persist(StorageLevel.MEMORY_ONLY)，先输入StorageLevel然后ctrl+左键可以看到里面的存储方式

//没有任何输出的原因是因为没有触发计算
//如果要输出的话再加上rdd1.count()
//rdd1.count()再来一次我们会发现最终会输出两次结果，因为原本那个因为重新计算第一次的rdd1.count会被迅速释放
//但是有的时候我们需要使用到中间的结果，假如中间转换过程很复杂，很耗时，我们有时候需要去调用，再次推导就很耗时
//以空间换时间persist，cache
//加上.persist之后就会只输出一次
/*
RDD的存储：
用户可以选择不同的存储级别缓存RDD以便重用。
当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。
MEMORY/DISK/MEMORY AND DISK/SER序列化（对数据进行压缩，牺牲CPU资源换取内存资源）和_2（备份两份）的方式
策略：
优先是1.memoery_only--》memory_only_ser 2.memory_and_disk 3.disk
*/

//shuffle：混洗（进行大规模的数据转移）一般性看见by和bykey一定会进行shuffle
/*
宽窄依赖最大的区别就是是否进行shuffle
*/
//单词统计
val sourceRDD=sc.parallelize(List("hello world", "hello linux","linux world"))
//第一步以空格分开单词
//用于扩展
sourceRDD.flatmap(
    (word:String)=>{
    val lst=word.split(" ")
        lst
    })
    .map((_,1))//生成键值对，二元组
//没有结果的因为是map是RDD惰性若想要输出后面跟上.foreach(println(_))
//简写形式sourceRDD.flatmap(_.split(" "))
//"hello" "world" "hello" "linux" "linux" "world"