- 博客(5)
- 资源 (26)
- 收藏
- 关注
原创 Redis分布式锁实现数据写入幂等性
程序简要设计 Flink时间窗口计算将计算结果写入Druid.io的拓补图结构如下: Flink从kafka消费数据,进行分别进行计量和及时的计算,最终将计算结果写入到kafka,最终druid.io使用kafka-inex-service从kafka中拉取数据,将结果写入到Druid.io 程序中的问题 在程序运行的过程中,由于非常偶然的原因,Flink程序异常了,然后Flink从最近的che...
2018-12-19 17:52:17 3152
原创 Druid.io之数据压缩任务实现
压缩JSON: { "type": "compact", "dataSource": "ctitest-20181205", "interval": "2018-01-01/2019-01-01" } 压缩任务提交的命令: curl -X 'POST ' -H 'C
2018-12-17 18:37:24 712
原创 Superset修改时区为"Asia/Shanghai"
1.找到superset的安装目录; ps -ef|grep superset 找到superset的安装目录 2.进入安装目录下的找到config.py文件,修改入选 DRUID_TZ = tz.tzutc() 为DRUID_TZ = tz.gettz(‘Asia/Shanghai’) 即可 这样superset的时区就切换到东八区了. ...
2018-12-11 18:18:26 4655 1
原创 Druid.io支持粒度如下:
all: none:使用索引的粒度,最小值none指毫秒粒度 second:秒粒度 minute:分钟粒度 fifteen_minute: 15分钟粒度 thirty_minute: 30分钟粒度 hour:小时粒度 day:天粒度 week:周粒度 month:月粒度 quarter: 一个季度粒度 year:年粒度 ...
2018-12-11 18:12:42 940
原创 kafka-index-service实现一个topic多个不同查询粒度的kafka-index-service任务
在Druid.io相关需求开发的时候,通过大数据Flink实时计算后的结果数据写入到的kafka的topic中,由于需要不同的查询的粒度的的dataSource来有话我们的业务以及查询而不想部署多态Flink程序,因此这是就可以使用该方法实现一份计算,多查询粒度的datasource生成,只需要修改consumerProperties中的goup.id的值即可,以下是我在工做种的实时使用,记录一下...
2018-12-11 16:07:15 812
Druid-Lookups.postman_collection.json
2019-06-05
大数据相关书籍
2017-12-21
Netty权威指南
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人