- 博客(7)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 StormFirehouse实现
要实现StormFirehouse 首先需要在Druid端注册一个StormFirehoseFactory,其实现就是实现FirehoseFactory接口,我们需要注意StormFirehosFactory注册对象是json类型的,必须要在类名上写上注解@JsonTypeName(“storm”) 从代码看StormFirehoseFactor主要就是就是生成并且返回Firehose对象....
2018-04-10 19:01:50
232
原创 Storm+Druid的事物实现逻辑
Storm-druid源码地址：https：//github.com/apache/storm/tree/master/external/storm-druid/src/main/java/org/apache/storm/druid/trident Storm + Druid的事物实现逻辑：首先需要在pom.xml文件中引入storm-druid依赖<！ - https://mvn...
2018-04-10 16:57:09
931
原创 Trident Topology
Trident在Storm上提供了高层抽象,Trident抽象掉了事物处理状态和状态管理细节,他可以让一批tuple进行离散的事务处理,并且提供了一些抽象函数,允许topology在数据上执行函数功能,过滤和聚合等操作. 在Trident中引入了”数据批次概念”,与Storm的spout不同,Trident spout必须成批的发送tuple 每个batch会分配一个唯一的事物标识符. 在T...
2018-04-10 15:58:18
355
原创 Storm Druid Bolt实现:
Storm-Druid源码地址为:https://github.com/apache/storm/tree/master/external/storm-druid 在Storm与Druid结合; 需要在pom.xml文件中引入<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-druid --><dependency>
2018-04-10 15:00:24
802
7
原创 DruidBolt按照IndexService方式写入数据的json描述文件
{ “type”: “index”, “spec”: { “dataSchema”: { “dataSource”: “druidBoltTest”, “parser”: { “type”: “string”, “parseSpec”: { “format”: “json”, ...
2018-04-09 10:20:10
374
原创 Druid
{ “spec”:{ “dataSchema”:{ “dataSource”:” “, “granulariitySpec”:{ “queryGranularity”:”MINUTE”, //string 最小查询粒度MINUTE,HOUR等 “segmentGranularity”:”HOUR”,//
2018-04-09 09:41:40
700
原创 SparkStream手动提交KafkaOffset实现数据容灾处理JAVA版本
啥也不说了,直接贴代码: KafkaOffsetManager.javapackage net.icsoc.bigdata.utils;import kafka.common.TopicAndPartition;import kafka.utils.ZKGroupDirs;import kafka.utils.ZKGroupTopicDirs;import kafka.utils....
2018-04-03 10:52:58
2851
2
Druid-Lookups.postman_collection.json
2019-06-05
大数据相关书籍
2017-12-21
Netty权威指南
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人