JustinMars的博客

方案一：Segment元数据信息存储到mysql等关系型数据库时，针对每个SegmentID增加是否是热数据的字段。此外，设热数据判定规则，如近一天的数据，指定时间戳范围的数据，近几条数据或近几个segment等。 Coordinator轮询zookeeper，获取新发布的segment，通过元数据存储的是否是热数据的segment信息，向不同的Historcial进行发布数据加载指令。如果为热数据，将segment一个副本加载到具备SSD的Historcial节点上，其他副本放到具备HHD的His.

Druid数据迁移方案描述：Druid数据包括两部分，一部分来自深度存储的数据，通常存储在HDFS中，而另一部分则是Druid的元数据信息，通常存储在MySQL中（也有可能是Darby，此次选择MySQL）。方案：分为两部分。其一，使用Hadoop的discp命令（分布式拷贝）将源Druid的HDFS集群数据远程拷贝到目标Druid的HDFS集群上。其二，将存储在Mysql上的源Druid元数据信息复制到目标Druid的Mysql数据库中。HDFS数据迁移HDFS集群数据迁移可以使用discp

druid 0.17的Compaction 动态配置关于段压缩的细节在druid里，segment的大小至关重要，因为：1.druid的数据存储在segment中，如果使用best-effort roll-up 模式，通过增加segment的大小使得数据进一步聚合，进而使得减小数据源的大小。2.当提交一个查询请求，该请求会分发到持有查询segment的实时任务和历史任务上。每个进程和任务从自己的处理线程池中选择一个线程来处理单个段。如果segment太大，数据可能在数据服务器之间分布不好，从而降低了

Druid加载csv类型文件[root@zeusmaster bin]# more 2.csvTIME,STR,NUM2021-01-21 10:54:46,a,12021-01-21 10:54:46,v,2[root@zeusmaster bin]# hdfs dfs -put 2.csv /a[root@zeusmaster bin]# hdfs dfs -ls /aFound 3 items-rw-r--r-- 1 root supergroup 159 2...