Druid.io之数据压缩任务实现

最新推荐文章于 2022-04-14 15:22:00 发布
最新推荐文章于 2022-04-14 15:22:00 发布
阅读量689 收藏
点赞数
分类专栏： druid.io Druid.io
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012164361/article/details/85053935
版权

压缩JSON:

{
    "type": "compact",
    "dataSource": "ctitest-20181205",
    "interval": "2018-01-01/2019-01-01"
}

压缩任务提交的命令:

 curl -X 'POST ' -H  'Content-Type:application/json' -d @compact-spec.json  http://<Coordinator-ip>:<Coordinator-port>/druid/indexer/v1/task
梦想成真那天
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JAVA上百实例源码以及开源项目源代码
09-17
　Java数据压缩与传输实例，可以学习一下实例化套按字、得到文件输入流、压缩输入流、文件输出流、实例化缓冲区、写入数据到文件、关闭输入流、关闭套接字关闭输出流、输出错误信息等Java编程小技巧。 Java数组倒置...
springboot配置druid多数据源（mysql、postgresql、oracle）
m0_54355172的博客
08-29 2512
springboot配置多数据源
使用druid连接池连接postgre数据库情况下出现Cannot commit when autoCommit is enabled异常解决办法，经过排查结果竟是druid的bug
GIS地图技术分享(GIS入门、Openlayers教程、Leaflet教程)，做最好的GIS地图开发教程
09-17 4795
问题描述 部分接口出现异常，部分数据接口正常，异常抛出：Cannot commit when autoCommit is enabled，具体异常比这个长，但是主体原因是跟数据库的autocommit配置有关的 问题环境 springmvc项目，使用了阿里的druid作为数据库连接池 排查过程 经过源码发现spring-tx事务的DataSourceTransactionManager每次都会执行如下代码： if (con.getAutoCommit()) { txObject....
CC00011.druid——|Hadoop&OLAP_Druid.V11|——|Druid.v11|架构|索引压缩机制|
yanqi_vip
04-14 96
一、索引及压缩机制 ### --- Druid的查询时延低性能好的主要是因为采用了五个技术点： ~~~ 数据预聚合 ~~~ 列式存储、数据压缩 ~~~ Bitmap 索引 ~~~ mmap(内存文件映射方式) ~~~ 查询结果的中间缓存 二、数据聚合 ### --- 数据预聚合 ~~~ Druid通过一个roll-up的处...
Apache Druid 0.18.1 compact （合并，压缩） segements
极客编程的专栏
05-19 882
问题 Apache druid中的实时任务默认一个小时生成一个segement (如果是老版本，一个小时生成的数量与Kafka的partition数量有关)，会导致集群产生大量的segements.根据druid的建议每个segement大小 300M-700M.有时需要进行compact 向 overlord节点提交任务地址 http://overlord:port/druid/indexer/v1/task 任务内容 保持原有granularity { ...
Druid（准）实时分析统计数据库——列存储+高效压缩
djph26741的博客
01-04 185
Druid是一个开源的、分布式的、列存储系统，特别适用于大数据上的（准）实时分析统计。且具有较好的稳定性（Highly Available）。 其相对比较轻量级，文档非常完善，也比较容易上手。 Druid vs 其他系统 Druid vs Impala/Shark Druid和Impala、Shark 的比较基本上可以归结为需要设计什么样的系统 Druid被设计用于： 一直...
java开源包3
06-28
Java Remote Desktop 是一个Java 的远程桌面软件，支持很多特性例如文件传输、数据压缩、颜色转换、键盘鼠标事件转换等等。 最短路径算法实现 k-shortest-paths 这是一个实现了 Yen 的排名算法的无环路径的项目 ...
java开源包4
06-28
Java Remote Desktop 是一个Java 的远程桌面软件，支持很多特性例如文件传输、数据压缩、颜色转换、键盘鼠标事件转换等等。 最短路径算法实现 k-shortest-paths 这是一个实现了 Yen 的排名算法的无环路径的项目 ...
java开源包101
07-13
Java Remote Desktop 是一个Java 的远程桌面软件，支持很多特性例如文件传输、数据压缩、颜色转换、键盘鼠标事件转换等等。 最短路径算法实现 k-shortest-paths 这是一个实现了 Yen 的排名算法的无环路径的项目 ...
java开源包1
06-28
Java Remote Desktop 是一个Java 的远程桌面软件，支持很多特性例如文件传输、数据压缩、颜色转换、键盘鼠标事件转换等等。 最短路径算法实现 k-shortest-paths 这是一个实现了 Yen 的排名算法的无环路径的项目 ...
druid在360的实践与优化
11-08
druid在360的实践与优化,druid在360的实践与优化druid在360的实践与优化
apache-druid-chinese-docs:Apache Druid中文文档
05-03
Apache Druid是一个高性能的实时分析型数据库 [removed] (adsbygoogle = window.adsbygoogle || []).push({}); [removed] 云原生、流原生的分析型数据库 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。在实际中下数据仓库解决方案中，可以考虑将Druid当做一种开源的替代解决方案。 可轻松与现有的数据管道进行集成 Druid原生支持从、等消息总线中流式的消费数据，也同时支持从、等存储服务中批量的加载数据文件。 较传统方案提升近百倍的效率 Druid创新地在架构设计上吸收和结合了、以及的优势，在已经完成的中展现出来的性能远远超过数据摄入与查询的传统解决方案。 解锁了一种新型的工作流程 Druid为点击流
使用Druid数据连接池连接PostgreSQL简单例子
06-27
使用Druid数据连接池连接PostgreSQL简单例子,搭建一个简单测试环境
十分钟了解 Apache Druid
码哥字节
03-05 7625
十分钟了解 Apache Druid 导读：Apache Druid 是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解 Druid 的特性，使用场景，技术特点和架构。这将有助于你选型数据存储方案，深入了解 Druid 存储，深入了解时间序列存储等。 关注公众号 MageByte，设置星标获取最新干货。公众号后台回复 “加群” 进入技术...
clickhouse和druid实时分析性能总结
热门推荐
weixin_40809627的博客
04-12 1万+
clickhouse 应用总结调研： 概述: clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。 其作为分析型数据库，有三大特点：一是跑分快，二是功能多，三是文艺范。 背景： Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop...
Druid原理分析之“流”任务数据流转过程
小龙的博客
04-03 1817
本文以kafka indexing service和下图为例，描述流任务中Druid从数据摄取到数据查询的全部流程：往Druid提交流任务任务后，kafka indexing service根据提交的json描述，将kafka中的原始数据按时间片，维度来进行聚合，生成segment。segment片生成以后，kafka indexing service会将此部分数据注册到Zookeeper，以供B...
Druid.IO简介系列之三：Datasource和segments
greensea669的博客
03-07 807
Druid的数据被保存在datasource里面， DataSource类似于关系型数据库中的table。所有的DataSource是按照时间来分片的，必要时也可以额外加上其他字段来分片。每个时间区间范围被称为一个chunk（比如当你的DataSource是按天来分片的，一天就是一个chunk）。在chunk内部，数据被进一步分片成一个或多个segment。所有的segment是一个单独的文件，通...
Apache druid Roll-up前后的数据量对比sql，见证roll-up的强大
极客编程的专栏
07-04 655
简述 Roll-up 是Apahce druid 中重要的特性之一，在特定时间段内的数据，维度一致时可以进行压缩合并。减少数据量。 但有时为了估算压缩前后数据量如何查询呢？ 在druid 中默认提供了sum函数可以统计压缩前的数据量。 下面来看下语法如何写吧。 Roll-up前后的数据量对比sql SELECT SUM("count") as "roll-up前" ,COUNT(*) as " roll-up后" FROM table_name 查询效果 由于上面的维度值较多，roll-up效果 只做到
Druid.io系列（六）：问题总结
njpjsoftdev的博客
10-28 1万+
Druid问题总结
package day0608.utils; import com.alibaba.druid.pool.DruidDataSource; import com.alibaba.druid.pool.DruidDataSourceFactory; import javax.sql.DataSource; import java.io.IOException; import java.io.InputStream; import java.util.Properties; /** * 连接池工具类
最新发布
06-10
InputStream inputStream = ConnectionPoolUtil.class.getClassLoader().getResourceAsStream("druid.properties"); Properties properties = new Properties(); properties.load(inputStream); // 创建Druid...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值