![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
GC_NJUPT_CODE
希望通过写作能够认识更多的朋友
关注一下我的公众号:三疯的大数据踩坑之路
很高兴和大家一起讨论技术问题
展开
-
Scala高级语法系列之隐式转换
Scala隐式转换可分为三种类型:隐式参数、隐式类型转换、隐式类。其中,隐式类只能定义在单例对象/伴生对象中,笔者还没想到很好的使用场景,本篇不做案例。 案例一、隐式参数 package basic object ImplicitParameter extends App { def add(a:Int)(implicit b:Int,c:Int) = a + b + c impl...原创 2019-05-16 08:07:44 · 147 阅读 · 0 评论 -
记一次使用spark累加器来实现流程数据量监控功能
业务场景 采集工具采集的文件中以日期为标识,但是该文件中却可能包含了多天的数据,所以在统计当天推送文件记录总数时,需要记录当天的文件录入了详单表的哪些分区。后续业务开发利用这种映射关系,就可以缩小详单表分区范围,尽快的统计出当天入库记录数。(这仅仅是该业务统计的一个指标,利用此处的累加器,还可以高效率的统计过滤,脏数据条数) 解决方案 方案一、再触发一次action 采即对落地...原创 2019-07-28 21:28:40 · 512 阅读 · 0 评论