Druid
文章平均质量分 91
王树民
大JAVA
展开
-
hdfs查看各级目录文件的大小
2017年10月24日 10:26:54 阅读数:8698 标签: hdfs 更多个人分类: hdfs 1.hadoop dfs -du -h 查看各级文件大小 会出现两列数字,第一列为单个文件实际大小,第二列为备份大小。2.hadoop dfs -ls -h也可以查看文件大小 但是当子文件目录过多时 统计的大小为0...转载 2018-09-07 12:00:42 · 4384 阅读 · 0 评论 -
Enabling Metrics
Enabling MetricsDruid nodes periodically emit metrics and different metrics monitors can be included. Each node can overwrite the default list of monitors.Property Description Default drui...原创 2018-08-18 17:31:58 · 759 阅读 · 0 评论 -
负载均衡的几种算法Java实现代码
负载均衡的几种算法Java实现代码时间 13 小时 前 算法分析 编程语言:Java轮询package class2.zookeeper.loadbalance;import java.util.ArrayList;import java.util.HashMap;import java.util.Map;import java.util.Set;/** * 負載均...转载 2018-08-16 08:34:23 · 154 阅读 · 0 评论 -
Linux下安装Superset
2018年07月30日 09:39:00阅读数:26Superset是开源的数据分析与可视化平台。在安装Superset时遇到很多坑:1.环境:Windows,Python3,各种花式报错,数都数不过来,还装了好几遍VS2015、VS2017都失败告终2.环境:Centos7,Python3,安装时只要报错,一般就卡在那装不下去成功安装:环境:Centos7,Pyth...转载 2018-08-16 09:29:00 · 1125 阅读 · 1 评论 -
开源BI工具superset的安装使用
开源BI工具superset的安装使用2017年11月20日 16:04:52阅读数:322256应用场景数据进入到数据库中,查询只能看到一行行的数据,最好是可以通过图形的方式将数据形象化的展示出来,通过图形进行组合分析,仪表分析,地图分析,多维分析等等,更加详细的通过图形展示数据,展示规律,展示分析!操作步骤 # yum install gcc libffi-dev...转载 2018-08-16 10:02:42 · 3374 阅读 · 0 评论 -
【CentOS7】安装Superset
【CentOS7】安装Superset2018年06月06日 12:03:15阅读数:50 Superset是依赖python的,所以想要使用它还得安装python环境,Superset支持的python版本为Python 2.7 and Python 3.4+. Python 3 是推荐的版本,Python 2.6目前是不支持。 我这边使用的是CentOS7默认自带p...转载 2018-08-16 12:52:37 · 1482 阅读 · 0 评论 -
在线安装superset
在线安装superset2017年09月26日 14:19:04阅读数:244在线安装superset一、 安装依赖包 yum upgrade python-setuptools yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-deve...转载 2018-08-16 13:11:53 · 427 阅读 · 0 评论 -
superset安装与使用
superset安装与使用2018年05月29日 17:22:23阅读数:568 本文介绍superset的安装(linux环境)与简单使用环境准备1.linux(这里是以centos7为示例)2.docker环境安装superset1.查找superset相关的镜像docker search superset2.拉取镜像docker pull ...转载 2018-08-19 09:02:53 · 1451 阅读 · 1 评论 -
superset 安装及其深度汉化
superset 安装及其深度汉化2017年07月19日 16:39:21阅读数:7277Superset的安装及其汉化过程一、安装过程参照官网步骤,基本没有wehttp://superset.incubator.apache.org/installation.html#1. 由于我使用的是 LinuxCentos7 ,是Fedora and RHEL-der的衍...转载 2018-08-19 09:14:54 · 2511 阅读 · 3 评论 -
Druid学习笔记(4)数据摄入总结
Druid学习笔记(4)数据摄入总结2017年12月13日 18:09:25阅读数:19071. 概述Druid的数据摄入主要包括两大类: 1. 实时输入摄入:包括Pull,Push两种 - Pull:需要启动一个RealtimeNode节点,通过不同的Firehose摄取不同种类的数据源。 - Push:需要启动Tranquility或是Kafka索引服务。通过HTTP调用...转载 2018-08-18 16:57:55 · 326 阅读 · 0 评论 -
5-Druid数据摄入-2
5-Druid数据摄入-22017年11月19日 13:38:31阅读数:1102 一、Stream Ingestion 可以通过Tranquility (a Druid-aware client,提供负载均衡,其他服务,缺点复杂)、或者indexing service 、单个的 Realtime nodes ( limitations.) Stream push 将T...转载 2018-08-18 16:57:01 · 979 阅读 · 0 评论 -
Druid中的Kafka Indexing Service源码分析
2018年04月08日 22:23:15阅读数:129Kafka Indexing Service开发的目的是为了增强Kafka中数据的实时摄入。其特性如下:保障数据摄入的Exactly Once。可以摄入任意时间戳的数据,而不仅仅是当前数据。可以根据Kafka分区的变化二调整任务的数量。影响数据摄入Exactly Once的主要因素是Kafka的Offset管理。Kafka Indexing S...转载 2018-07-05 14:33:25 · 784 阅读 · 0 评论 -
druid 理解规划
druid 大诗兄_zl 关注2018.02.02 11:19 字数 6578 阅读 235评论 0喜欢 4Druid.io(以下简称Druid)是面向海量数据的、用于实时查询与分析的OLAP存储系统。Druid的四大关键特性总结如下:亚秒级的OLAP查询分析。Druid采用了列式存储、倒排索引、位图索引等关键技术,能够在亚秒级别内完成海量数据的过滤、聚合以及多维分析等操作。实时流数据分析。区别于...转载 2018-07-05 14:33:17 · 2046 阅读 · 0 评论 -
shell脚本---后台运行&,日志重定向输出,nohup,grep命令
shell脚本---后台运行&,日志重定向输出,nohup,grep命令2018年04月12日 10:15:19阅读数:165后台运行命令在命令行加上&,表示进程到后台执行,如 cmd &日志输出重定向命令,如 cmp > out.log &Linux默认定义两个变量:1和2;1表示标准输出2表示错误输出如 cmd 1>i...翻译 2018-08-14 13:07:35 · 1752 阅读 · 0 评论 -
[simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed:
[simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed: 原翱 翱翔fly 发布于 2017/10/18 17:57 字数 54 阅读 27 收藏 0 点赞 0 评论 0SupervisorKafkaSup...转载 2018-08-14 17:00:48 · 1141 阅读 · 0 评论 -
druid中 如何从本地批(batch)导入与从hdfs 批导入数据 实战
druid中 如何从本地批(batch)导入与从hdfs 批导入数据 实战程序员小新人学习 2018-06-25 11:13:26使用indexing service 批导入数据,如何配置task文件,指定从本地 和 hdfs中导入数据。很多在手册中没有详细说明,配置起来存在困难。先搭建几个节点:coordinator、historical、overlord、middleManager...转载 2018-08-15 09:01:31 · 1464 阅读 · 1 评论 -
使用HadoopDruidIndexer向Druid集群中加载批量数据-Batch Data Ingestion
使用HadoopDruidIndexer向Druid集群中加载批量数据-Batch Data Ingestion Druid lxw1234@qq.com 3年前 (2015-11-19) 9780℃ 2评论关键字:druid,HadoopDruidIndexer,Batch Data Ingestion有两种方式将批量数据加载到Druid集群中,使用Indexing Serv...转载 2018-08-15 10:13:05 · 1568 阅读 · 0 评论 -
Druid提供了两类截止作为Cache和查询组件
本身包含了五种节点 : Realtime、Historical、Coordinator、Broker、Indexer2.1.1 历史节点(Historical Node) 历史节点主要负责加载已经生成好的数据文件以及提供数据查询。历史节点启动时,会先检查自身的本地缓存中已存在的Segment数据文件,然后从DeepStorage中下载数据自己但不在本地的Segment数据文件,后加载到...转载 2018-08-18 16:47:10 · 1685 阅读 · 1 评论 -
druid下载第三方插件的方式
property description required? defaultdruid.emitter.kafka.bootstrap.servers Comma-separated Kafka broker. ([hostname:port],[hostname:port]...) yes nonedruid.emitter.kafka.metric.t...原创 2018-08-16 19:04:23 · 1380 阅读 · 1 评论 -
Storm Druid Bolt实现
原Storm Druid Bolt实现:2018年04月10日 15:00:24阅读数:135Storm-Druid源码地址为:https://github.com/apache/storm/tree/master/external/storm-druid 在Storm与Druid结合; 需要在pom.xml文件中引入<!-- https://mvnreposito...转载 2018-08-19 18:05:39 · 299 阅读 · 0 评论 -
完全分布式hdfs 路径问题造成
# For HDFS (make sure to include the HDFS extension and that your Hadoop config files in the cp):druid.indexer.logs.type=hdfsdruid.indexer.logs.directory=hdfs://cluster1/druid/ind...原创 2018-08-21 14:28:22 · 478 阅读 · 0 评论 -
你要调整一下work capacity的数量
你要调整一下work capacity的数量寻道先生 2018/8/21 11:26:11为啥baby Penguin 2018/8/21 11:26:13你有2个task penon在那寻道先生 2018/8/21 11:26:27那两个baby Penguin 2018/8/21 11:27:02runing task的任务数=supervior的数量*repcal的数量+...原创 2018-08-21 14:30:52 · 193 阅读 · 0 评论 -
Java使用DateFormatter格式化日期时间的方法示例
Java使用DateFormatter格式化日期时间的方法示例转载 更新时间:2017年04月02日 14:41:34 作者:FrankYou 我要评论 这篇文章主要介绍了Java使用DateFormatter格式化日期时间的方法,结合具体实例分析了java使用DateFormatter格式化日期时间的相关操作技巧,需要的朋友可以参考下本文实例讲述了Java使...转载 2018-08-21 18:17:41 · 14400 阅读 · 2 评论 -
本文使用Imply套件安装,该套件提供了稳定的druid和web访问接口,在安装之前需要先安装node,
1.Druid介绍参考文章:链接地址 Druid是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级以内对十亿行级别的表进行任意的探索分析。 特性为分析而设计——Druid是为OLAP工作流的探索性分析而构建。它支持各种filter、aggregator...转载 2018-09-08 18:08:34 · 2260 阅读 · 0 评论 -
Druid集群搭建 使用套件2.2.3
曹振华 关注2017.07.17 22:02* 字数 304 阅读 2448评论 3喜欢 2测试环境采用了三台虚拟机,每台4G内存用到的软件有mysql, hadoop-2.7.1, kafka_2.11-0.9.0.1, imply-2.2.3(druid的套件,集成了dsql像mysql一样去查询数据,pivot数据可视化组件)Java 8 or betterNod...转载 2018-09-06 08:22:39 · 922 阅读 · 0 评论 -
druid的核心成员成立了一个叫imply.io的公司。我就直接下载了imply.io。
druid的安装最近想玩druid.druid的底层是fastbit索引的列式存储。采用分布式的zookeeper调度。实时大数据分析软件。主要针对OLAP操作。搭环境搭环境。druid的核心成员成立了一个叫imply.io的公司。我就直接下载了imply.io。它是四个软件的集成。包括druid,plywood,tranquility,pivot.安装过程比较简单。很好的。首先下...转载 2018-09-06 08:22:34 · 2879 阅读 · 1 评论 -
centos下nodejs,npm的安装和nodejs的升级
过省 安装:sudo yum install epel-releasesudo yum install nodejsnode -vyum install -y npm --enablerepo=epel 升级nodejs:sudo npm install n -gsudo n 0.12.2sudo n stablesudo n ...转载 2018-09-03 18:02:33 · 1181 阅读 · 0 评论 -
Druid and Imply
2017年12月31日 22:28:26 阅读数:754更多个人分类: druid 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chen517611641/article/details/78943610druid implydruid-io github implydata githubdruidio docker ...转载 2018-09-07 11:17:19 · 1392 阅读 · 0 评论 -
druid mid节点的hdfs出现 could only be replicated to 0 nodes instead of minReplication (=1). There are 1
at java.lang.Throwable.addSuppressed(Throwable.java:1043) ~[?:1.8.0_162] at io.druid.storage.hdfs.tasklog.HdfsTaskLogs.pushTaskLog(HdfsTaskLogs.java:70) ~[?:?] at io.druid.indexing.overlor...原创 2018-08-21 14:24:10 · 9229 阅读 · 0 评论 -
HDFS DATANODE 磁盘容量的最小值des instead of minReplication (=1). There are 1 datanode(s) running and no no
HDFS DATANODE 磁盘容量的最小值博客分类: HadoopHadoop 原创,转载请注明出处HDFS的DATANODE的剩余空间具体要到多大?关于这个问题,下面记录下对这个问题的调查 昨天,讨论群里面给出了一个异常: Java代码 op@odbtest bin]$ hadoop fs -put ../tmp/file3 /user/hadoop/in2 ...转载 2018-08-21 12:06:45 · 473 阅读 · 0 评论 -
Druid 大数据分析之快速应用(单机模式)
Druid 大数据分析之快速应用(单机模式)博客分类: Druiddruid1、概述 本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘。推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。 2、安装要求 1. Java 7 及以上 2....转载 2018-08-19 18:13:20 · 536 阅读 · 0 评论 -
Druid 大数据分析之查询
Druid 大数据分析之查询博客分类: Druiddruid 1、Druid 查询概述 上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Realtime),这些服务节点暴露REST查询接口,客户端发送Json对象请求查询接口。一般情况下,查询服...转载 2018-08-19 18:14:45 · 3694 阅读 · 0 评论 -
https://github.com/apache/storm/commit/b6cab8dca97e2238aef8e45118f6946fc2d35049#diff-6ab5421905cac64
apache/storm https://github.com/apache/stormhttps://github.com/apache/storm/commit/b6cab8dca97e2238aef8e45118f6946fc2d35049#diff-6ab5421905cac645cbd7a32848764760 Code Pull requests 161 Project...原创 2018-08-19 19:07:30 · 1430 阅读 · 0 评论 -
定时任务
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN 2.0//EN" "http://www.springframework.org/dtd/spring-beans-2.0.dtd"><beans> <bea原创 2018-08-17 09:14:27 · 302 阅读 · 0 评论 -
Druid:一个用于大数据实时处理的开源分布式系统
博客园 首页 新随笔 联系 管理 订阅 Druid:一个用于大数据实时处理的开源分布式系统Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题,当时试图...转载 2018-08-17 09:43:24 · 1803 阅读 · 1 评论 -
Hadoop集群版本必须和Druid.io中版本同一,可以通过pull-deps下载相同hadoop-dependencies版本,e.g. :
Druid:Druid.io 部署&使用文档时间 2016-12-23标签 海量数据 栏目 Java开源原文 http://blog.csdn.net/silentwolfyh/article/details/53843335 参考:http://lxw1234.com/archives/2015/11/554.htm 海量数据实时OLAP分析系统-Druid...转载 2018-08-17 09:53:39 · 1445 阅读 · 0 评论 -
进dfsadmin enter 或者 dfsadmin leave
标题原创 2018-08-22 22:41:10 · 291 阅读 · 0 评论 -
Druid:Druid.io 部署&使用文档
Druid:Druid.io 部署&使用文档时间 2016-12-23标签 海量数据 栏目 Java开源原文 http://blog.csdn.net/silentwolfyh/article/details/53843335 参考:http://lxw1234.com/archives/2015/11/554.htm 海量数据实时OLAP分析系统-Druid...转载 2018-08-17 17:55:58 · 870 阅读 · 0 评论 -
Druid使用Kafka Indexing Service方式push数据以及实时节点pull数据步骤
2018年05月27日 13:44:07阅读数:77 Druid中从kafka摄入数据,存在两种方式,一种是pull,需要依赖实时节点,一种是push,需要依赖Kafka Indexing Service(kafka索引服务) 注:在0.9.1.1版本前使用Tranquility-Kafka组件接入实时数据,由于存在时间窗口,即在时间窗口内的数据会被提交给Firehose,时间窗口外的数...转载 2018-07-06 08:35:24 · 1025 阅读 · 0 评论 -
ISO 8601 utc 时间
维基百科,自由的百科全书跳转到导航跳转到搜索ISO 8601 数据元素和交换格式 - 信息交换 - 日期和时间的表示是一种涵盖日期和时间相关数据交换的国际标准。它由国际标准化组织(ISO)发布,并于1988年首次发布。该标准的目的是提供一种明确且明确定义的日期和时间表示方法,以避免误解日期的数字表示。和时间,特别是当数据在具有不同约定的国家之间传输以写入数字日期和时间时。一般而言,ISO 8601...原创 2018-07-04 08:48:52 · 10244 阅读 · 0 评论