weixin_43172032的博客

一，问题描述druid router界面显示historical服务不正常，Datasource0%可用，druid历史数据不可查。historical节点日志显示一直在loading segment，但是loading结束后可能会报错segment文件格式错误，如下图，报错的文件路径本地可能没有但是hdfs上文件没问题。报错后过一会儿又开始重新开始loading过程，如此往复循环。druid目录下有进程崩溃的日志。二，问题原因查看hs_err_pid文件可知historical进程死掉的原因是

druid使用kerberos化的hdfs作为深度存储一，在kerberos中生成供druid使用的principle二，修改common.runtime.properties配置文件三，添加hdfs配置文件并修改访问权限一，在kerberos中生成供druid使用的principle在kerberos server所在机器使用如下命令添加principle，并生成keytab文件。将keytab文件拷贝至druid各节点的指定目录下。（主要是data节点）kadmin.localaddprinc

druid日志配置druid默认的log4j.xml路径为：conf/druid/cluster/_common/log4j2.xml<Configuration status="WARN"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d{ISO8601} %p [%t] %c - %m%n"/> &l

Kerberos化http接口访问一，Linux ，Mac os 环境下curl 命令访问1.1， 拷贝 服务器上的 /etc/krb5.conf 文件还至目标电脑上。1.2, 执行kinit 获取票据，curl访问接口二，mac 环境下使用浏览器访问Kerberos 化 UI2.1 拷贝/etc/krb5.conf 文件，执行kinit2.2 safari浏览器2.3 Chrome浏览器打开界面三，windows环境下使用浏览器访问Kerberos 化 UI3.1 下载安装 KerberosTicket

Druid认证授权（HTTP BASIC AUTH）一，配置 Authenticator ，Escalator，Authorizer二，Authentication API2.1,获取所有用户名2，添加用户3，密码json文件密码格式4,删除用户三级目录Druid支持Ranger授权，但是Ranger目前不支持。一，配置 Authenticator ，Escalator，Authorizerdruid.extensions.loadList=["druid-hdfs-storage", "druid-

druid 问题总结一，druid overlord 界面不可访问，http响应吗 307一，druid overlord 界面不可访问，http响应吗 307原因：overlord 没有确定可用的主节点（单个overloed的情况下也可能会出现）。解决方法：进入zookeeper删除overlord相关的znode，触发重新选举。rmr /druid/overlord/_OVERLORD...

Druid0.19 开启Kerberos debug模式在需要启动的服务对应的配置目录下找到jvm.config 文件，比如：${DRUID_HOME}/conf/druid/cluster/master/coordinator-overlord/jvm.config在其中添加如下信息，重启服务即可。-Dsun.security.krb5.debug=true该参数是jvm参数，可用于其它java程序debug Kerberos。...

一，节点规划(centos)节点服务node1openjdk，mysql，zookeeper，druid Masternode2openjdk，zookeeper，druid Querynode3openjdk，zookeeker，druid Data二，安装openjdk在线安装yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel离线安装链接: centos环境离线安装openjdk1.

druid 架构Coordinator：管理数据，负责segments的管理和分发。定期执行，执行周期可配置。职能：1，与historical节点进行通信(并不是直接通讯，是通过zookeeper相关path)，加载新的segment或者删除过时的segment。2，备份segments到不同的historical节点（备份数量可配置）。3，移动segment确保historical节点间负载均衡（historycal进程最高利用率和最低利用率超过某个阀值会触发负载均衡）。4，合并小的se

一，Druid介绍Apache Druid是一个实时分析数据库，旨在对大型数据集进行快速切片和分析（“OLAP”查询）。Druid最常用作支持实时接收、快速查询性能和高正常运行时间的用例的数据库。因此，Druid通常用于支持分析应用程序的gui，或者作为需要快速聚合的高度并发api的后端。OLAP(Online analytical processing)，即联机分析处理。二，Druid特点：1，列存储格式。2，可扩展分布式系统，Druid通常部署在大数集群中，水平扩展能力强。3，大规模并行处理