关注
分享
i7杨
大数据架构师，实时开发工程师。
深耕大数据生产一线，拥有丰富业务场景的实战，日均数十TB的数据，擅长用大数据技术解决生产疑难问题。
持续关注大数据前沿生态，对大数据应用和技术栈有深度了解；精通Flink、Spark、Kafka、ES、Doris、Hive、Hbase、Yarn的底层运行原理，对多种大数据周边生态也有实战应用和研究。
展开
-
八种Flink任务监控告警方式
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。原创 2024-01-28 19:54:19 · 3305 阅读 · 5 评论 -
Flink定制化功能开发，demo代码
本文将通过flink的DataStream模块API，以kafka为数据源，构建一个基础测试环境；包含一个kafka生产者线程工具，一个自定义FilterFunction算子，一个自定义MapFunction算子，用一个flink任务将实时读kafka并多层处理串起来；让读者体会通过Flink构建自定义函数的技巧。原创 2024-01-12 21:30:50 · 1174 阅读 · 6 评论 -
如何基于Flink实现定制化功能的开发
技术为需求服务，通用需求由开源软件提供功能，一些特殊的需求，需要基于场景定制化开发功能。而对于自定义开发功能，Flink则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于Flink构建定制化需求功能两个方面分享描述。原创 2024-01-11 21:27:08 · 2097 阅读 · 2 评论 -
FlinkCDC的分析和应用代码
本文将从FlinkCDC应用场景开始，然后讲述其基于Flink的实现原理和代码应用，为下一篇介绍基于Flink开发定制化引擎做铺垫。原创 2024-01-09 22:14:23 · 3265 阅读 · 10 评论 -
Flink任务实战优化
一个好产品，功能应该尽量包装在服务内部；对于Flink而言，无疑是做到了这一点。但是用户在使用Flink的时候，依然可以从版本的选择、代码逻辑、资源参数、业务的数据情况等方面做任务级的定制化优化；用最合理的资源使用，保障实时性、稳定性和最佳Tps的处理能力原创 2024-01-05 14:31:39 · 3833 阅读 · 24 评论 -
Flink应用介绍
Flink本身的特性是非常灵活的，基于它的性能和特性，大胆想象，利用Flink去实现、优化需求，可能会有意想不到的好效果。原创 2024-01-03 22:08:53 · 2174 阅读 · 2 评论