- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink之Watermark实践
我们知道实时计算中，数据时间比较敏感，有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯使用processTi...
2018-07-21 21:24:17
6287
12
原创 Druid和ES查询结果通用解析方法
做数据的同学相信大家对Druid和Es都不陌生，Druid可以说是一款基于时序的查询引擎，支持数据实时摄入，在数据摄入前指定维度和指标，提供基于时间层面的预聚合，Druid会把一个数据点当做一个实际发生的事实，在数据摄入后就不能修改。常被应用于一些实时的场景，比如对数据实时分时间段分组聚合。ES同样是一款高效的查询引擎，支持数据的批量导入，同样支持数据实时的摄入，也支持数据批量导入，相比于Drui...
2018-07-13 20:28:51
6398
原创 Yarn资源调度工作原理
由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成：ResourceManager：顾名思义资源管理器，主要负责资源管理和调度，ResourceManager主要由两个组件构成：ApplicationManager,主要负责两类工作：1.管理监控各个系统的应用，包括启动Applicaiton Master，监控App...
2018-07-01 19:13:00
12709
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人