苏苏爱自由

生如夏花之绚烂,死如秋叶之静美。

排序：
默认
按更新时间
按访问量
RSS订阅

原 赫拉(hera)分布式任务调度系统之版本发布功能页面

文章目录前言往期目录hera2.2-beta版本任务编辑时支持修改任务类型任务组添加管理员bug修复修复centos7机器组监控不显示的bug对于只有一台work时，降低任务的分发频率，尽量避免crash修复任务重试时hostGroupId为空新增一键开启/关闭上游所有任务的接口修复任务异常退出时...

2019-01-26 15:30:41

阅读数 517

评论数 0

原 赫拉(hera)分布式任务调度系统之Q&A(五)

文章目录q:依赖任务的周期怎么填？q:新加的任务什么时候会加入调度q:想立刻加入调度怎么办q:资源文件怎么上传不成功q:开启/关闭/失效按钮的区别q:如何控制任务的并行数量q:任务执行会冲突吗q:什么是漏跑检测重试q:什么是任务信号丢失重试q:为什么任务无法关闭q:为什么任务无法开启q:`mast...

2019-01-08 15:51:29

阅读数 667

评论数 0

原 赫拉(hera)分布式任务调度系统之版本(四)

文章目录赫拉文章版本介绍版本的使用加入群聊 赫拉文章 赫拉(hera)分布式任务调度系统之架构，基本功能(一) 赫拉(hera)分布式任务调度系统之项目启动(二) 赫拉(hera)分布式任务调度系统之开发中心(三) 版本介绍 在hera系统中支持历史版本的数据重跑。 每一个任务都会生成版本，版本时...

2019-01-04 15:21:26

阅读数 661

评论数 0

原 赫拉(hera)分布式任务调度系统之开发中心(三)

简介 开发中心，顾名思义。我们进行开发的地方（当然我们也可以直接在调度中心加任务，建议任务首先在开发中心测试，通过之后再加到调度中心）。 目录介绍 如图所示，开发中心有两个文件夹。分别是个人文档、共享文档。这两个文件夹不允许删除。 个人文档 提供给账户登录者使用的，私人目录可以在这里创建，...

2018-12-29 11:30:09

阅读数 868

评论数 0

原 赫拉(hera)分布式任务调度系统之项目启动(二)

创建表 克隆hera 暂时还未开源 后面补上。当使用git把hera克隆到本地之后，首先在hera/hera-admin/resources目录下找到hera.sql文件，在自己的数据库中新建这些必要的表，并插入初始化的数据。 克隆到本地后，即可使用maven的打包命令进行打包 mvn clea...

2018-12-22 11:25:00

阅读数 1588

评论数 0

原 赫拉(hera)分布式任务调度系统之架构，基本功能(一)

前言 在大数据平台，随着业务发展，每天承载着成千上万的ETL任务调度，这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题，甚至在任务调度执行中出现错误的情况下，任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生...

2018-12-20 17:14:38

阅读数 2346

评论数 3

原 使用java在aliyun/aws创建E-MapReduce (emr)集群

背景 在上个公司，我的 hera 任务调度系统是运行在本地 cdh 机器上的，并没有使用 aws/aliyun 提供的 emr 服务。所以为了使 hera 能够兼容 emr，就需要使用 java 创建 emr 集群. 功能点 既然要创建集群，肯定也要有等待集群创建完成、销毁集群等操作。 所...

2019-04-10 19:59:02

阅读数 70

评论数 0

原 关于 mysql 的共享锁 排它锁以及锁的实现方式 行锁 间隙锁 Next-Key Lock

在 mysql 中有事务四大基本特性，隔离级别，锁类型，b+ 树等各种需要我们学习的知识，这里简单分享一下 mysql 中的锁。 使用 mysql 数据库的都知道我们经常使用的数据库引擎有 MyISAM 和 InnoDB。 MyISAM 默认表类型，它是基于传统的 ISAM 类型，它是存储记...

2019-02-13 16:20:59

阅读数 177

评论数 0

原 Dubbo 源码分析之服务降级

前言 关于服务降级，相信很多小伙伴都听说过或者操作过。比如最近我们在 12306 上抢票回家，明明看到剩余的有票，可就是买不到，这就是很明显的一个(读)服务降级例子。再比如双十一时我们付款时偶尔出现付款失败，重新支付，也是(限流)服务降级的一种，也有许多其它降级的例子，大家可以自行搜索。具体来说...

2019-01-24 19:49:55

阅读数 131

评论数 0

原 Dubbo 源码分析之线程池

文章目录前言Dubbo 线程池分类Dubbo 线程工厂线程池拒绝策略CachedThreadPoolFixedThreadPoolLimitedThreadPool 前言 相信学过 netty 的都知道，每一个 ChannelHandler 都是通过它的 EventLoop(I/O线程) 来处理...

2019-01-19 14:46:25

阅读数 223

评论数 0

原 Dubbo 源码分析之 SPI 详解

我使用的是dubbo2.5.3的源码，有中文注释。为了更方便的学习，可以慢慢来，等这个版本掌握差不多了就可以看更高的版本了。 在Protocol接口的实现类中不存在@Adaptive注解的实现类，所以在使用 Protocol protocol = ExtensionLoader.getExtens...

2019-01-18 20:09:44

阅读数 74

评论数 0

原 Dubbo 源码分析之自定义线程池拒绝策略(使用 Java 程序 Dump 线程堆栈信息)

最近在看dubbo源码，真的学习了很多知识，记得上次看dubbo源码是在半年前了，看到dubbo自定义的spi就看不下去了，完全看不懂。上周又看了看，顿时茅塞顿开，有时间会分享出来。废话不多说，在dubbo内部有几种线程模型，都是使用java线程池实现的，任务被拒绝后会输出堆栈信息。我们可以看它...

2019-01-14 11:15:10

阅读数 158

评论数 0

原 Java设计模式（三）模板方法模式

模版方法：在抽象类中定义了一个模版方法，在模版方法中使用了一些该抽象类中定义的空方法，而这些空方法可以供子类实现。 我们在查看源码时经常能够看到在执行一些重要的方法时，往往调用了一些看似没有什么意义的空方法。其实这就是模版方法。 abstract class ThreadHolder { ...

2019-01-09 10:59:46

阅读数 108

评论数 2

原 spark streaming被压分析

在我们使用spark-streaming处理实时数据时，通常在Dstream端的rdd操作较为耗时，此刻的实时数据还在receiver端不断的store。由于数据的处理不及时，即Processing Time < blockInterval也就造成了数据的积...

2018-12-18 19:03:27

阅读数 107

评论数 0

原 解析一行gc日志

线上某个项目 ，启动参数 -verbose:gc -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -Xloggc:/opt/logs/spring-boot/gc.log 在gc.log里面发现了这些gc信息 315201.296: [GC (Alloca...

2018-12-18 11:12:28

阅读数 83

评论数 0

原 Java引用类型：强引用，软引用，弱引用，虚引用

在Java中提供了4个级别的引用：强引用，软引用，弱引用，虚引用。在这4个引用级别中，只有强引用FinalReference类是包内可见，其他3中引用类型均为public，可以在应用程序中直接使用。 强引用 Java中的引用，有点像C++的指针，通过引用，可以对堆中的对象进行操作。 ...

2018-10-23 19:29:34

阅读数 93

评论数 0

原 关于Class.forName

前言 相信大家在使用反射操作时多多少少能用到这个方法。如果你使用了mysql数据库并且使用了原生的数据库操作，你肯定有一段这样的代码Class.forName("com.mysql.jdbc.Driver"); 这段代码的意义就是生成一个代表com.mysql....

2018-10-12 11:34:32

阅读数 79

评论数 0

原 zookeeper数据恢复

刚刚在向hbase表写数据时发现一个神奇的现象：判断该表显示不存在，建表时发现显示 表已存在。 org.apache.hadoop.hbase.TableExistsException: cash_log:op_info 查看hdfs文件发现该表数据不存在。 查看 zk显示该表 meta信息...

2018-09-05 16:21:01

阅读数 358

评论数 0

原 hbase 单个regionserver中region过多 优化

问题 目前hbase 总是出现压缩队列和刷新队列过大的告警，导致数据的读写变慢。 首先说明一下目前集群的状况 regionServer数量：20 region 数量：6503 regionServer配置：-Xms10g -Xmx10g -Xmn3g 原因 找到一...

2018-08-06 17:15:14

阅读数 1811

评论数 0

原 Java源码之ThreadLocal

前言 很早之前就知道使用ThreadLocal解决多线程并发的问题，可是却一直知其然不知其所以然。这几天在github上看dubbo的提交记录时，无意中发现了前师兄提交的记录，其优化后的ThradLocal性能提高了几十倍（原理在最后我会说一下），最后发现这位师兄也是借鉴了netty的Fa...

2018-07-05 18:25:42

阅读数 237

评论数 0

提示
确定要删除当前文章？
取消 删除