Spark
東方海竹
宁可失败,不能平庸
展开
-
Spark Streaming Quick Start
Spark Streaming的基本数据结构是DRDD(discretized stream),DRDD和RDD类似,但是引入了时间的概念。DRDD中三个最重要的时间变量 - windowDuration,每次处理的时间窗口大小 - slideDuration,本次处理和下一次处理之间的滑动时间间隔 - batchInterval,DRDD里面每一个RDD缓存的数据时间原创 2017-11-02 15:29:59 · 362 阅读 · 0 评论 -
Spark Quick Start
Spark OverviewSpark Programming GuideSpark CoreRDD编程Pair RDD编程文件操作编程进阶原创 2017-11-02 16:38:56 · 722 阅读 · 0 评论 -
Running Spark
工程打包Spark Submit运行参数详解集群管理器任务管理界面程序运行调优原创 2017-11-02 17:02:02 · 324 阅读 · 0 评论