KnowStreaming
文章平均质量分 52
诸葛子房_
先后就职于京东和BAT,在大数据领域有多年工作经验;
Apache Griffin&&Apache Zeppelin Contributor,dataCompare和dataService作者
展开
-
KnowStreaming系列教程第四篇——MySQL数据更新死锁问题
这样做的原因是:整体代码实现逻辑上比较简单,没有引入一些复杂的东西。缺点是会损耗一些性能,但是也有一定的优化空间,比如如果发现数据没有变化,可以直接不进行updateById。这块解决的思路是:在代码中,查询已有的数据。如果数据已存在,就执行updateById的操作,如果不存在,就执行insert的操作。insert操作时,忽略key冲突的异常。主要原因是调度任务并行执行,更新数据的时候存在更新相同行的数据引起的死锁。原创 2023-11-06 14:46:02 · 190 阅读 · 0 评论 -
KnowStreaming系列教程第三篇——调度任务模块
spring 根据接口或者抽象类获取子类执行: https://blog.csdn.net/u012501054/article/details/103927674。讲述了KS的整体项目目录,这边文章来讲述下KS在调度模块里面对于指标采集和元数据同步。AbstractDispatchTask 里面的execute 方法通过实现任务分配。二、调度任务分布式系统如何做到单节点运行,避免多台机器调度。通过监听集群添加事假,触发元数据同步和指标采集调度任务。一、调度模块代码主要在km-task里面。原创 2023-07-27 11:39:53 · 311 阅读 · 0 评论 -
KnowStreaming系列教程第二篇——项目整体架构分析
spring 根据接口或者抽象类获取子类执行: https://blog.csdn.net/u012501054/article/details/103927674。spring ApplicationEvent 使用: https://juejin.cn/post/7078481193133408270。观察者设计模式 https://www.cnblogs.com/xuwendong/p/9814417.html。(5)km-persistence:持久化,dao层,和MySQL和ES打交道。原创 2023-07-25 14:57:43 · 393 阅读 · 0 评论 -
KnowStreaming系列教程第一篇——安装和使用
在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为Kafka专家。开发文档:https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md。三处和mysql相关的信息都得配置。原创 2023-07-06 15:58:47 · 1430 阅读 · 0 评论