spark
iris_new
这个作者很懒,什么都没留下…
展开
-
Spark Streaming checkpoint 实现状态的恢复实现
Spark Streaming checkpoint 实现状态的恢复实现原创 2017-07-06 17:46:16 · 2572 阅读 · 0 评论 -
Spark kafka实时消费实现
spark kafka 实时消费原创 2017-08-21 14:03:06 · 2890 阅读 · 0 评论 -
spark 调度流程
spark 调度流程原创 2017-10-26 17:19:46 · 323 阅读 · 0 评论 -
spark updateStateByKey用法更新状态
因为本人刚开始接触大数据开发,在使用spark做开发过程遇到了一些问题,所以写下来作为笔记。 先把代码贴出来吧。(网上找的一段代码示例) 关于updateStateByKey : 1.重点:首先会以DStream中的数据进行按key做reduce操作,然后再对各个批次的数据进行累加 2.updateStateByKey 方法中 updateFunc就要传入的参数,他是一个函数。S原创 2017-06-29 18:24:51 · 3734 阅读 · 0 评论 -
spark postgresql查询后hive批量写入
从传统数据库中读取数据,然后一次性插入至hive表原创 2018-03-13 13:43:21 · 1468 阅读 · 0 评论 -
Spark Streaming有状态计算的实际问题-StackOverflowError
转载: http://distantlight1.iteye.com/blog/22877651.背景spark streaming有状态计算(如UV)通常采用DStream.updateStateByKey(实际是PairDStreamFunctions增强到DStream的),具体实现网上讲的很多。spark streaming是持续计算,有状态时不能通过简单的DAG/lineage容错,所以...转载 2018-03-21 17:20:51 · 864 阅读 · 0 评论