spark RDD

最新推荐文章于 2016-01-12 13:01:59 发布

warrior_zhang

最新推荐文章于 2016-01-12 13:01:59 发布

阅读量521

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/warrior_zhang/article/details/50503366

版权

spark 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1. SPARK 中 RDD 的基本操作流程
    RDD创建->RDD转换->RDD控制->RDD运行。
    RDD创建：RDD的初始创建是由SparkContent来负责的，有内存或者外存文件系统作为数据源
    RDD转换：讲一个RDD通过一定的操作转换为另一种RDD
    RDD控制：对RDD进行持久化，令RDD保存在磁盘或者内存中，以便后续重复使用
    RDD运行：RDD运行出发Spark作业的运行，输出计算结果，结果分为两类，一类声称Scala集合或者标量，另一种保存到外部文件系统中
    示例程序：
    val sc = new SparkContent(集群地址，程序标识，spark安装路径，spark程序JAR包)//RDD创建
    val file = sc.textFile(文件路径)//RDD转换
    val filterRDD = file.filter(操作函数)//RDD转换
    filterRDD.cache()//RDD控制
    filterRDD.count()//RDD运行

2. RDD介绍
    RDD的生成有两种途径：1）来自于内存或者外部存储系统；2）通过其他RDD转换例如：map,filter,join......
    RDD two operator: 1) Transformation ,2)Action
        1) Transformation is an delay operator, it will run when an action is run;
            at this operator data have two types:
                (1) Value ,that can be used directly
                (2)Key-value pair,that is packaged in pairRDDFunctions ,and user use it must import org.apache.spark.SparkContent._
        2) Action will trigger spark submit job.

阅读(16) | 评论(0) | 转发(0) |

上一篇：function summary of nltk in python

下一篇：android 存储结构与存储方法

相关热门文章

给主人留下些什么吧！~~

评论热议

warrior_zhang

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
spark RDD

1. SPARK 中 RDD 的基本操作流程 RDD创建->RDD转换->RDD控制->RDD运行。 RDD创建：RDD的初始创建是由SparkContent来负责的，有内存或者外存文件系统作为数据源 RDD转换：讲一个RDD通过一定的操作转换为另一种RDD RDD控制：对RDD进行持久化，令RDD保存在磁盘或者内存中，以便后续重复使用 RDD运行
复制链接

扫一扫