Elastic-Job/TBSchedule
坦GA
积沙成塔
展开
-
详解当当网的分布式架构Elastic-Job
作业的必要性以及存在的问题1. 为什么需要作业?作业即定时任务。一般来说,系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景,如队列表。将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模式可更好的处理实时性数据。而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储。(点击放大图像)但在转载 2016-09-01 13:37:32 · 2006 阅读 · 0 评论 -
Elastic-Job何为分布式作业
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/distribution/何为分布式作业?分片概念任务的分布式执行,需要将一个任务拆分为n个独立的任务项,然后由分布式的服务器分别执行某一个或几个分片项。例如:有一个遍历数据库某张表的作业,现有2台服务器。为了快速的执行作业,那么每台服务器应执行作业的转载 2016-10-23 09:17:40 · 5018 阅读 · 0 评论 -
Elastic-Job快速使用
原文地址:https://github.com/dangdangdotcom/elastic-jobQuick StartAdd maven dependencydependency> groupId>com.dangdanggroupId> artifactId>elastic-job-lite-coreartifactId> version转载 2016-09-27 21:02:08 · 4981 阅读 · 1 评论 -
Elastic-Job的主要功能
原文地址:https://github.com/dangdangdotcom/elastic-job/blob/master/README_1.x.mdElastic-Job主要功能主要功能分布式: 重写Quartz基于数据库的分布式功能,改用Zookeeper实现注册中心。并行调度: 采用任务分片方式实现。将一个任务拆分为多个独立的任务项,由分布式的服务器转载 2016-09-28 10:36:39 · 2786 阅读 · 0 评论 -
Elastic-Job使用时的一些注意事项
1、官方提到“同一台服务器只能运行一个相同作业实例,因为作业运行时是按照ip注册和管理的”,那么:假如程序在同一台电脑上部署两个作业实例,结果会如何,会进行正常分片么? 该问题测试结果为:分片参数以shardingItemParameters=0=A,1=B,2=C,3=D,4=E,5=F,6=G,7=H,8=I,9=J为例: a:同一机器,运转载 2016-09-01 13:46:50 · 10806 阅读 · 0 评论 -
TBSchedule原理与实践
原文地址:http://blog.csdn.net/taosir_zhang/article/details/50728362淘宝开源定时任务调度框架1. 淘宝代码库TBSchedule(使用说明附源码下载)下载TBSchedule源码http://code.taobao.org/p/tbschedule/wiki/index 内容包括两部分:TBSched转载 2016-10-13 21:26:23 · 8133 阅读 · 1 评论 -
Elastic-Job作业分片策略
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/job_strategy/作业分片策略框架提供的分片策略AverageAllocationJobShardingStrategy全路径:com.dangdang.ddframe.job.plugin.sharding.strategy.Aver转载 2016-09-28 12:57:16 · 9495 阅读 · 4 评论 -
Elastic-Job实现原理
原文地址:实现原理弹性分布式实现第一台服务器上线触发主服务器选举。主服务器一旦下线,则重新触发选举,选举过程中阻塞,只有主服务器选举完成,才会执行其他任务。某作业服务器上线时会自动将服务器信息注册到注册中心,下线时会自动更新服务器状态。主节点选举,服务器上下线,分片总数变更均更新重新分片标记。定时任务触发时,如需重新分片,则通过主服务器分转载 2016-09-28 11:31:46 · 5760 阅读 · 0 评论 -
Elastic-job-cloud源码中assembly.xml源码
Elastic-job-cloud源码中assembly.xml源码 tar.gz src/main/resources/conf elastic-job-cloud-scheduler.properties原创 2016-11-26 11:32:42 · 604 阅读 · 0 评论 -
ElasticSearch安装、插件
原文地址:http://www.cnblogs.com/huangfox/p/3541300.html一)安装elasticsearch1)下载elasticsearch-0.90.10,解压,运行\bin\elasticsearch.bat (windows)2)进入http://localhost:9200/ 如下图安装成功! 二)插件—转载 2017-03-02 13:30:18 · 599 阅读 · 0 评论 -
ElasticSearch Java API之滚动搜索(Scroll API)
原文地址:http://blog.csdn.net/sunnyyoona/article/details/52810397一般搜索请求都是返回一"页"数据,无论数据量多大都一起返回给用户,Scroll API可以允许我们检索大量数据(甚至全部数据)。Scroll API允许我们做一个初始阶段搜索并且持续批量从Elasticsearch里拉取结果直到没有结果剩下。这有点像传统数据库里的c转载 2017-04-24 14:55:42 · 1435 阅读 · 0 评论 -
Quartz重复执行问题
原文地址:http://www.cnblogs.com/nfsnyy/p/5741593.html本人所在的项目组做了一个基于quartz集群的任务系统。通俗点讲就是用quartz框架(quartz是一款能跑定时任务的框架支持复杂的时间表达式)来执行定时任务。但是这里定时任务的并发数很多,就出现了一个问题,同一个trigger被多个机器重复的触发了,这就造成了执行的任务数目比预转载 2016-09-29 09:23:55 · 9261 阅读 · 3 评论 -
RabbitMQ Server配置详解
原文地址:http://previous.rabbitmq.com/v3_4_x/configure.htmlConfigurationRabbitMQ comes with default built-in settings which will most likely be sufficient for running your RabbitMQ server effe翻译 2016-10-23 09:07:42 · 5709 阅读 · 1 评论 -
Elastic-Job开发指南
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/user_guide/开发指南代码开发作业类型目前提供3种作业类型,分别是Simple, DataFlow和Script。DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDa转载 2016-10-22 09:33:46 · 19735 阅读 · 1 评论 -
Elastic-Job目录结构说明
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/directory_structure/目录结构说明elastic-job-coreelastic-job核心模块,只通过Quartz和Curator就可执行分布式作业。elastic-job-apielastic-job生命周期操作的API,转载 2016-10-22 09:28:19 · 1661 阅读 · 0 评论 -
Elastic-Job作业运行状态监听
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/execution_monitor/作业运行状态监控通过监听elastic-job的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能。监听作业服务器存活监听job_name\servers\ip_address\status节点是否转载 2016-10-21 18:09:53 · 8365 阅读 · 1 评论 -
Elastic-Job dump作业运行信息(便于开发者debug)
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/dump/dump作业运行信息(便于开发者debug)由于在使用elastic-job中可能会碰到一些分布式问题,导致作业运行不稳定。由于无法在生产环境调试,通过dump命令可以把作业内部相关信息dump出来,方便开发者debug分析;另外为了不泄露隐私,已经把相转载 2016-10-21 18:13:07 · 1899 阅读 · 1 评论 -
Elastic-Job使用限制
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/limitations/使用限制作业一旦启动成功后不能修改作业名称,如果修改名称则视为新的作业。同一台作业服务器只能运行一个相同的作业实例,因为作业运行时是按照IP注册和管理的。一旦有服务器波动,或者修改分片项,将会触发重新分片;触发重新分片将转载 2016-10-21 18:28:56 · 1164 阅读 · 0 评论 -
Elastic-Job作业分片策略
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/job_strategy/作业分片策略框架提供的分片策略AverageAllocationJobShardingStrategy全路径:com.dangdang.ddframe.job.plugin.sharding.strategy.Aver转载 2016-10-21 18:46:19 · 2084 阅读 · 0 评论 -
Elastic-Job架构和云
原文地址:https://github.com/dangdangdotcom/elastic-job1. Elastic-Job-LiteDistributed schedule job coordinateElastic scale in and scale out supportedFailoverMisfired jobs refireSharding consisten转载 2016-09-26 11:45:28 · 1079 阅读 · 0 评论 -
Elastic-Job分布式环境中有问题的解决方法
原文地址:http://dangdangdotcom.github.io/elastic-job/post/faq/4. 怀疑Elastic-Job-Lite在分布式环境中有问题,但无法重现又不能在线上环境调试,应该怎么做?回答:分布式问题非常难于调试和重现,为此Elastic-Job-Lite提供了dump命令。如果您怀疑某些场景出现问题,可参照dump文转载 2016-09-26 11:54:19 · 1515 阅读 · 0 评论 -
Elastic-Job是否支持动态添加做作业
原文地址:http://dangdangdotcom.github.io/elastic-job/post/faq/6. 是否支持动态添加作业?回答:动态添加作业这个概念每个人理解不尽相同。elastic-job-lite为jar包,由开发或运维人员负责启动。启动时自动向注册中心注册作业信息并进行分布式协调,因此并不需要手工在注册中心填写作业信息。 但注册中转载 2016-09-26 11:58:33 · 3479 阅读 · 0 评论 -
Elastic-Job中常见问题
原文地址:http://dangdangdotcom.github.io/elastic-job/post/faq/1. 阅读源码时为什么会出现编译错误?回答:Elastic-Job使用lombok实现极简代码。关于更多使用和安装细节,请参考lombok官网。2. 使用Spring命名空间时在网上相应地址找不到xsd?回答:Spring命名空间使用规范并转载 2016-09-26 12:07:12 · 15469 阅读 · 0 评论 -
Elastic-Job使用步骤简介
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/usage/使用步骤安装Java环境请使用JDK1.7及其以上版本。详情参见安装Zookeeper请使用Zookeeper 3.4.6及其以上版本。详情参见。或使用elastic-job自带的内嵌Zookeeper安装Maven请使转载 2016-10-22 09:05:53 · 3671 阅读 · 0 评论 -
Elastic-Job运维平台介绍
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/web_console/运维平台elastic-job运维平台以war包形式提供,可自行部署到tomcat或jetty等支持servlet的web容器中。elastic-job-console.war可以通过编译源码或从maven中央仓库获取。登录转载 2016-10-22 09:11:03 · 7767 阅读 · 0 评论 -
Elastic-Job 1.1.0升级说明
原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/update_notes_1.1.0/elastic-job 1.1.0升级说明基于扩展性提升,概念明晰和命名规范化的考虑,elastic-job 1.1.0版本决定抛弃原有包袱的束缚,重新定义了JAVA API,Spring命名空间并且删除了已废弃的转载 2016-10-22 09:24:45 · 1177 阅读 · 0 评论 -
快速入手开源日志分析系统logstash
原文地址:https://blog.csdn.net/github_26672553/article/details/72877735快速入手开源日志分析系统logstashlogstash是一个独立的系统,除了可应用于ElasticSearch,还可以应用于redis,消息队列,或者我们自己写项目里也可以独立去使用它。大家常说到的ELK是ElasticSearch、Logstash和Kibana...转载 2018-04-08 14:30:37 · 953 阅读 · 0 评论