自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一只皮皮熊

随便写点啥

原创 【kafka】consumer offset提交异常时数据会重复么?
原力计划

文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafka consumer消费poll到某分区数据后未及时commit offset,此时另外一个消费线程消费该分区时会消费到重复数据么?初步思考我们已知:一个分区在某个时刻只能被一个消费线程消费数据kafka服务端和客户端都会维护一个offset问题引申出来的...

2020-03-31 22:02:20 408

原创 【Java】强引用、软引用、弱引用、幻象引用
原力计划

加强对jvm基础知识的了解,将jvm学习的一些知识总结下来。后续将引出一系列文章。文章目录一、基本概念强引用(StrongReference)软引用(SoftReference)弱引用(WeakReference)幻象引用(PhantomReference)二、价值与精髓抽茧成丝价值1:判断对象可达性1、对象不可达(unreachable)2、错误地保持了强引用价值2:显式地影响软引用垃圾收...

2020-03-30 21:46:15 56

原创 【Java】排障方法论
原力计划

大神文章的总结。整理人: pierre文章目录一、备份现场1、备份应用日志2、记录问题发生的时间3、备份GC日志4、监控基础资源利用率曲线5、获取堆栈快照信息6、Dump内存信息二、分析问题1、CPU综合CPU利用率高排查思路:优化建议:单核CPU利用率高排查思路:优化建议2、内存频繁FULL GC排查思路:定位无法被回收的对象优化建议内存空间够,依旧触发了Full GC优化建议后台IO高...

2020-03-26 13:04:25 128

原创 【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
原力计划

文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148最近准备再花点时间优化一下之前的FlinkX版本,特地去看了一下项目的issues区域,发现两个自己比较关注的issue。issue详情reader和writer的通道数不一致异构数据源reader和writer设置不同的Parallelism数#...

2020-03-19 20:49:54 137

原创 【Scala】一小时学会基础语法
原力计划

改编自 https://learnxinyminutes.com/docs/zh-cn/scala-cn/Scala可以进行面向对象的声明式编程,也可以进行函数式编程;可以进行业务代码的编制,也可以进行元程序的编制(定义程序的程序);可以开发大规模的服务应用,亦可进行类似shell的脚本编程;可以使用共享变量的并发编程模式,当然也可以采用基于Actor的消息机制的高并发编程模式用scala...

2020-03-14 10:55:04 63

原创 【Flink】双流处理:实时对账实现
原力计划

这里写自定义目录标题一、基础概念二、双流处理的方法ConnectUnionJoin三、实战:实时对账实现需求描述需求分析代码实现相关阅读更多内容详见:https://github.com/pierre94/flink-notes一、基础概念主要是两种处理模式:Connect/JoinUnion二、双流处理的方法ConnectDataStream,DataStream → Con...

2020-03-10 16:06:00 675

原创 【Flink】状态编程: 订单超时告警

文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现一、基础概念在Flink架构体系中,有状态计算可以说是Flink非常重要的特性之一。有状态计算是指:在程序计算过程中,在Flink...

2020-03-04 10:39:59 820

提示
确定要删除当前文章?
取消 删除