![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
哼哼爸比
这个作者很懒,什么都没留下…
展开
-
Elasticsearch升级之River替代方案(分布式任务调度与动态解析日志)
近期在项目中遇到一个问题,解决此问题,需要改变架构方案,以下为方案具体内容目录1.痛点2.如何解决3.替代river技术方案调研4.saturn运行原理5.动态解析方案6.saturn结合spring-boot测试实例7.遇到的问题及解决8.环境部署最低要求9.补充测试executor扩容、缩容/宕机、重启恢复场景:1.痛点前置:通过river消费k...原创 2019-04-25 10:19:24 · 2603 阅读 · 0 评论 -
解决saturn executor失败分片转移立即执行之源码分析
最近在项目使用saturn过程中,遇到了一些原框架解决不了的问题,好在这个框架是开源的,通过对源码做了分析,找到了解决办法,有点啰嗦了,来点直接的。首先,saturn使用的版本是3.3.1,源码自行下载:https://github.com/vipshop/Saturn/releases问题如下: 序号 课题 调研结果 ...原创 2019-05-17 16:25:45 · 2428 阅读 · 1 评论 -
解决saturn失效分片立即执行后后台分片项显示不正确问题
背景:官方的saturn组件,在失效分片后不能立即执行任务,需要等当前正常的分片执行完之后才可以执行,而且失效分片单个executor上一个一个执行,而我们的需求是立即执行,且是并行执行失效分片。解决方案见:解决saturn executor失败分片转移立即执行之源码分析问题:解决如上问题之后,发现saturn后台,在执行完失效分片之后,单个作业的分片项显示不正确(经代码分析,确实没有...原创 2019-07-08 10:06:53 · 1001 阅读 · 0 评论