Druid

{
“spec”:{
“dataSchema”:{
“dataSource”:” “,
“granulariitySpec”:{
“queryGranularity”:”MINUTE”, //string 最小查询粒度MINUTE,HOUR等
“segmentGranularity”:”HOUR”,//string Segment存储粒度HOUR,DAY等等
“type”:”uniform” ,
“intervals”:[] //摄取数据的时间段,可以有多个值,可选,对于流式数据pull方式可以忽略
},
“metricsSpec”:[
{
“fieldName”:”count”, //count | longSum等等聚合函数类型
“name”:”count”, //string 聚合函数运用的列明,可选
“type”:”longSum” //string 聚合后列明指标
}
],
“parse”:{ //表示如何解析一条数据
“parseSpec”:{ //JSON对象
“dimensionSpec”:{ //JOSN对象 ,指明维度的设置
“dimensionExclusion”:[],//list[string],剔除的维度名列表,可选
“dimensions”:[//list[stirng],维度名列表
“event_name”,
“user_id”,
“age”,
“city”,
“commodity”,
“category”
],
“spatialDimensions”:[] //list[string] 空间维度名列表.主要用于地理几何运算,可选
},
“format”:”json”,//数据源格式
“timestampSpec”:{//JSON对象,指明时间戳列明何格式
“column”:”timestamp”,//String 时间戳列明
“format”:”auto” //iso|millis|posix|auto|Joda,时间戳格式,默认值auto
},
“flattenSpec”:{} //JSON对象,若JSON有嵌套层级,则需要制定
},
“type”:”map” //String数据类型
}

}

},

“ioConfig”:{
“firehose”:{ //指明数据源.例如本地文件,kafka等
“serviceName”:” “,
“type”:” “,
},
“type”:”realtime”
},

“tuningConfig”:{
“basePersistDirectory”:”“, //临时存盘目录页
“intermediatePersistPeriod”:” “,//多长时间数据临时存盘一次
“maxRowsInMemory”:500000,//在存盘之前,在磁盘鸿存储的最大行数,指的是聚合后的行数
“rejectionPolicy”:{ //数据丢弃策略
“type”:”serverTime”
},
“type”:”realtime”,
“windowPeriod”:”PT10m” //最大可容忍时间窗口,超过时间窗口,数据丢弃
},
“type”:”index_realtime”
}