![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据问题处理
zhiliang-chen
大数据工程师
展开
-
kafka开启kerberos,报错server not found in kerberos database
kafka开启了SASL(kerberos), server.properties配置为sasl.enabled.mechanisms: GSSAPIsecurity.inter.broker.protocol: SASL_PLAINTEXTssl.mode.enable: falseallow.everyone.if.no.acl.found: truesasl.port: 19092服务端的jaas.conf内容为KafkaServer {com.sun.security.auth.m原创 2020-07-31 10:20:17 · 18756 阅读 · 0 评论 -
Hadoop单机单实例安装
国内镜像//清华大学https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common///北京理工大学http://mirror.bit.edu.cn/apache/hadoop/common/JDK安装yum remove java* -yyum remove jdk* -ywget https://github.com/frekele/oracle-java/releases/download/8u212-b10/jdk-8u212-原创 2020-07-16 16:49:02 · 440 阅读 · 0 评论 -
hadoop HTTP 查询 JMX
在Namenode information的web端口(默认9870)访问JMX在页面的Utilites->metricshttp://192.168.19.160:9870/jmx//通过qry参数来过滤MXBeanName(即json的name字段)http://192.168.19.160:9870/jmx?qry=Hadoop:*//查询具体的namehttp://192.168.19.160:9870/jmx?qry=Hadoop:service=NameNode,name=J原创 2020-07-16 16:43:02 · 849 阅读 · 0 评论 -
CDH zookeeper 问题处理
Maximum Request LatencyCDH zookeeper报警: Maximum Request Latency存在隐患 : 请求延迟最大值:32,264。会话超时最大值:40,000。会话超时百分比:80.66%。 警告阈值:75.00%。这是CDH的健康值检查,检查项为ZOOKEEPER_SERVER_MAX_LATENCY查看日志/var/log/zookeeper/...原创 2019-10-29 18:11:21 · 3354 阅读 · 2 评论 -
Hue impala count 问题
在hue中,使用impala查询时, distinct host 查出结果为 2089, 而使用count(distinct host) 查出结果为2034;通过查看DISTINCT Operator, 看到开启自动将COUNT(DISTINCT)重写为NDV(),通过加上查询参数APPX_COUNT_DISTINCT在hue里,使用NDV(host) 查出结果为2034, 可知HUE连接...原创 2019-10-24 18:06:56 · 628 阅读 · 0 评论