Druid
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
Druid 优秀文章推荐
1.Druid 在快手的应用: https://download.csdn.net/download/luomingkui1109/10885872原创 2018-12-29 16:32:18 · 385 阅读 · 0 评论 -
Druid 在小米公司部分技术实践
小米公司正式成立于2010 年4 月,是一家专注于高端智能手机、互联网电视以及智能家居生态链建设的创新型科技企业。 “让每个人都能享受科技的乐趣”是小米公司的愿景。小米公司应用互联网模式开发产品,用工匠精神做产品,用互联网模式节省了中间环节,致力于让全球每个人都能享用来自中国的优质科技产品。 Druid 在数据分析层帮助实时收集海量的事件数据,快速进行商业分析,在多...原创 2018-12-29 15:51:30 · 385 阅读 · 0 评论 -
Druid 监控和安全
1.Druid 监控 2.Druid 告警 3.Druid 安全原创 2018-12-29 15:33:15 · 763 阅读 · 0 评论 -
Druid 核心源代码探析
1.Druid 简单说明:(1)代码版本:0.9.1(2)项目地址:https://github.com/druid-io/druid.git(3)代码整体结构api 核心接口层,整个代码库的最底层common 公共方法,依赖apiexamples 实例...原创 2018-12-29 15:20:35 · 528 阅读 · 0 评论 -
大数据分析之可视化平台superset简介
1.Superset简介 • Superset是Airbnb开源的数据挖掘平台 • Github地址:https://github.com/airbnb/superset • 官网地址:http://airbnb.io/projects/superset/ • Superset之前叫做Caravel,还叫做过Panaramix。到今天为止,Superset在...原创 2018-12-29 12:07:07 · 2681 阅读 · 0 评论 -
Druid 数据摄入与查询示例
1.前置条件:1.1 环境准备: Java 8 Linux, Mac OS X或其他类Unix操作系统(不支持Windows) 8G的RAM 2个vCPU 1.2 下载并解压 druid 下载地址:https://www.apache.org/dyn/closer.cgi?path=/incubator/druid/0.13.0-inc...原创 2018-12-26 14:31:32 · 2837 阅读 · 0 评论 -
Druid 数据查询
1.Druid 查询概述 上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Realtime),这些服务节点暴露REST查询接口,客户端发送Json对象请求查询接口。一般情况下,查询服务接口发布在Broker节点,基于Linux 的POST请求查询如下所示:...原创 2018-12-26 14:28:28 · 1544 阅读 · 0 评论 -
Druid 流式与批量数据摄取的结合
我们都知道, Druid在摄取时需要设置一个时间窗口, 在时间窗口之外的数据,将会丢弃。我们如何将这部分丢弃的数据重新摄取进Druid系统中,以提高数据的准确性?通常的做法是把数据保存起来, 等待重新摄取。 目前比较流行的处理方法是Lambda架构。 1.Lambda架构 Lambda是实时处理框架Storm 的作者Nathan Marz 提出的用于同时处理离线和实时数据...原创 2018-12-23 16:35:19 · 997 阅读 · 0 评论 -
Druid 数据摄入
1. 概述 Druid的数据摄入主要包括两大类,流式数据摄入和静态数据摄入1.1 对于流式数据的摄入,Druid提供了两种方式,分别是push和pull, 采用pull方式摄取数据,需要启动一个实时节点,通过不同的firehose摄入不同的流式数据,firehose可以被认为Druid接入不同数据源的适配器。例如从kafka摄入数据,就用kafkaFirehose,从Rab...原创 2018-12-23 13:28:19 · 942 阅读 · 0 评论 -
Druid 安装部署(单机版)
1.安装包下载从https://imply.io/get-started 下载最新版本安装包2.安装部署 Imply提供了一套完整的部署方式,包括依赖库Druid,图形化的数据展示页面,SQL查询组件等,下面将基于Imply套件进行说明如何部署。2.1 将imply-2.7.10.tar.gz上传到hadoop102的/opt/software目录下,并解...原创 2018-12-23 13:05:16 · 1887 阅读 · 0 评论 -
Druid 架构详解
1. 前言 Druid 的目标是提供一个能够在大数据集上做实时数据摄入与查询的平台,然而对于大多数系统而言,提供数据的快速摄入与提供快速查询是难以同时实现的两个指标。例如对于普通的RDBMS,如果想要获取更快的查询速度,就会因为创建索引而牺牲掉写入的速度,如果想要更快的写入速度,则索引的创建就会受到限制。而Druid却可以完美的对两者进行结合,本文将对Druid如何实现这种结合做一个简单...原创 2018-12-22 23:13:57 · 1826 阅读 · 0 评论 -
Druid 基本介绍
1.概述 随着互联网快速发展,数据量增长快,达到TB、PB,以交通车流量为例,如湖南省每月的车辆流量至少达到4亿,这个数据量远不止如此。数据量如此大,如何满足后期分析,传统面向OLTP型数据库(ORACLE、MYSQL等)无法要求,渐渐开始转向OLAP,如GreenPlum等,虽然很多OLAP数据库吸收分布式计算思想,数据达到20亿以上后,进行Count、聚合等操作性能仍然达不到客户实时...原创 2018-12-21 19:57:47 · 4980 阅读 · 1 评论 -
时序数据库(TSDB:time series databases)
1.概述 时序列数据库(Time series database):用来存储时序列(time-series)数据并以时间(点或区间)建立索引的软件。一般时序列数据都具备 数据结构简单:某一度量指标在某一时间点只会有一个值,没有复杂的结构(嵌套、层次等)和关系(关联、主外键等)。 数据量大:由于时序列数据由所监控的大量数据源来产生、收集和发送...原创 2018-12-21 18:28:03 · 3647 阅读 · 0 评论 -
数据库连接池 Druid详解
1. Druid是什么? Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。 Druid能够提供强大的监控和扩展功能。 2. 在哪里下载druid 正式版本下载: maven中央仓库: http...原创 2018-12-21 10:53:15 · 890 阅读 · 0 评论 -
Druid 与 阿里开源项目Druid
Druid 单词来源于西方古罗马的神话人物,中文常常翻译成德鲁伊。 本问介绍的Druid 是一个分布式的支持实时分析的数据存储系统(Data Store),美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目,并且于2012 年晚期开源了Druid 项目。Druid 设计之初的想法就是为分析而生,它在处理数据的规模、数据处理的实时性方面,比传统的OLAP ...原创 2018-12-20 20:11:48 · 3320 阅读 · 1 评论