Spark
iteye_10645
这个作者很懒,什么都没留下…
展开
-
leftOuterJoin操作
[code="java"] import org.apache.spark.rdd.RDD import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object JoinRDD { def main(args: Array[String]) { ...原创 2016-08-16 11:52:02 · 178 阅读 · 0 评论 -
spark 几种transformation 的计算逻辑和测试
[code="java"] 测试例子使用的数据: test01: [java]view plaincopyprint?在CODE上查看代码片派生到我的代码片 a a b b c c d d e e f f g g test02: [java]view plaincopy print?在CODE上查看代码片派生到我的代码片 11 22...原创 2016-08-16 11:52:23 · 111 阅读 · 0 评论 -
Storm和Spark streaming区别
1.处理模型 Storm处理的是每次传入的一个事件. Spark Streaming是处理某个时间段窗口内的事件流 2.延迟 Storm处理一个事件可以达到秒内的延迟 Spark Streaming则有几秒钟的延迟 3.容错 Storm中,每个单独的记录当它通过系统时必须被跟踪,所以Storm能够至少保证每个记录将被处理一次, 从错误中恢...原创 2016-08-16 11:55:11 · 215 阅读 · 0 评论