大数据平台
文章平均质量分 95
hxcaifly
这个作者很懒,什么都没留下…
展开
-
【任务调度系统第三篇】:Azkaban原理介绍
写在前面Azkaban官网:https://azkaban.github.io/1. azkaban简单介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 其Web UI界面如下图所示。由于我们团...原创 2018-12-01 20:28:19 · 5146 阅读 · 3 评论 -
一篇文章带你深入理解Zookeeper
前言随着互联网技术的发展,大型网站需要的计算能力和存储能力越来越高。网站架构逐渐从集中式转变成分布式。虽然分布式和集中式系统相比有很多优势,比如能提供更强的计算、存储能力,避免单点故障等问题。但是由于采用分布式部署的方式,就经常会出现网络故障等问题,并且如何在分布式系统中保证数据的一致性和可用性也是一个比较关键的问题。分布式的工作方式有点类似于团队合作。当有一项任务分配到某个团队之后,团队内...转载 2018-12-05 17:12:12 · 176 阅读 · 0 评论 -
【经典实战案例】:美团 DB 数据同步到数据仓库的架构与实践
来源:美团技术团队tech.meituan.com/binlog_dw.html背景在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据...转载 2018-12-11 10:59:09 · 414 阅读 · 0 评论 -
【消息队列】: Kafka、ActiveMQ、RabbitMQ、RocketMQ相关总结
1.前言在写Flink任务的过程中,流计算需要支持去Kafka,RabbitMQ,ActiveMQ消费数据。这里咋一看这三个不都是消息队列么,为啥要搞三个呢?何不把它们统一起来。因此处于好奇,就对消息队列的相关框架做了一番认识。本文涉及到的内容:为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景...原创 2018-12-17 18:29:07 · 824 阅读 · 0 评论 -
【消息队列】:如何保证消息队列的高可用?
原文:https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/how-to-ensure-high-availability-of-message-queues.md面试题如何保证消息队列的高可用?面试官心理分析如果有人问到你 MQ 的知识,高可用是必问的。上一讲提到,MQ 会导致系统可用性降低。...转载 2019-01-22 11:34:41 · 318 阅读 · 0 评论 -
【任务调度系统第四篇】:Quartz的原理
1. 引言XXL Job和azkaban的任务调度功能其实都是基于quartz来开发的,并且Spring也集成了Quartz模块。 所以如果想深入了解调度原理,那其实有必要先对Quartz做一番了解。参考:https://www.cnblogs.com/Dorae/p/9357180.html...原创 2019-03-05 15:15:59 · 6291 阅读 · 4 评论