攻城狮Kevin

一、Druid查询某一标签，各标签值的uv{ "queryType":"groupBy", "dataSource":"XXXX_enum_metric", "granularity":"DAY", "filter":{ "type":"and", "fields":[ { "type":"selector", "dimension":"tag_name", "value": "...

Druid压测结论： 1.“枚举型”和“连续数值型”在当前业务数据量级（500G左右）下摄入和查询功能可轻松支撑，摄入时长可保证30分钟以内，查询用时可保证200ms以内。 2.10倍于当前业务数据量级下，枚举型摄入时长可优化至2小时，连续数值型可优化至40分钟，查询用时可保证200ms以内。Druid数据摄入优化经验1.对HDFS文件开启gz压缩，测试gz格式比lzo格式入库要省30%的时间，因为数据压缩率变大。2.对tuningConfig里的"targetParti...

依据Druid对标签数据做分析时，将标签数据依据数据类型拆分成两个大类：枚举型和连续数值型，枚举值指标签值都为字符串，连续数值型指标签值都为数值型。Druid数据源表的结构如下CREATE TABLE `XXXX.XXXX_druid_enum/number_input`( `tag_name` string COMMENT '标签名', `tag_value` string COMMENT '标签值', `id_str` string COMMENT '用户id', `dt

1. Druid中的intervals参数 "spec" : { "ioConfig" : { "type" : "hadoop", "inputSpec" : { "type" : "granularity", "dataGranularity" : "DAY", "inputPath" : "/HDFS路径...