scala
jxx4903049
这个作者很懒,什么都没留下…
展开
-
scala 中 下划线与星号(_*)
1.变长参数 例如定义一个变长参数的方法sum,然后计算1-5的和,可以写为scala> def sum(args: Int*) = { | var result = 0 | for (arg <- args) result += arg | result | }sum: (args: Int*)Intscala> val s...转载 2018-09-13 14:56:11 · 3003 阅读 · 0 评论 -
【转】Spark Streaming消费Kafka Direct保存offset到Redis,实现数据零丢失和exactly once
转自:https://www.cnblogs.com/ChouYarn/p/9512102.html一、概述 上次写这篇文章文章的时候,Spark还是1.x,kafka还是0.8x版本,转眼间spark到了2.x,kafka也到了2.x,存储offset的方式也发生了改变,笔者根据上篇文章和网上文章,将offset存储到Redis,既保证了并发也保证了数据不丢失,经过测试,有效。二...转载 2019-08-21 14:56:27 · 406 阅读 · 1 评论