weixin_43697701的博客

because threads quota is exceeded., reportedBlock move is failed

hdfs datanode节点间balance

hdfs disk balance

The hostname and canonical name for this host are not consistent when checked from a Java process.

alternatives的使用--切换python为例子

CDH/CDP集群Failover Controller启动报错2022-04-18 14:49:17,895 ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.2022-04-18 14:49:17,896 INFO org.ap

本次使用prometheus监控CDP7.4.4集群HBase使用jmx 包为jmx_prometheus_javaagent-0.16.0.jarprometheus安装这里不赘述，只介绍如何与CDP集群对接1、下载prometheus​ http://prometheus.io2、下载jmx_exporthttps://github.com/prometheus/jmx_exporter3、下载grafana 的dashboard模板https://grafana.com/grafana

本次使用javaagent-0.16.0版本监控hbase基于ambari1、下载jar包 jmx_prometheus_javaagent-0.16.0下载链接：https://github.com/prometheus/jmx_exporter/releases2、jar包放到集群中hbase启动的lib目录下/usr/hdp/3.1.4.0-315/hbase/lib下3、配置所有节点加上JMX exporter的agent，此处用的是ambari，故在页面添加hbase-env##对

1、建立用户useradd -u 1000 hadooppasswd hadoop ##密码设置为hadoop2、安装配置1）切换到hadoop用户2）准备jdk包和hadoop包，如图3）解压安装，并分别为java和hadoop做软连接tar -zxvf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ javatar -zxv...

Grafana中的主面板被简单地命名为Graph。它提供了一组非常丰富的图形选项。1、单击面板的标题会显示一个菜单。edit选项将为面板打开其他配置选项。2、单击以打开颜色和轴选择。3、单击此处只显示本时间序列。Shift/Ctrl +点击隐藏时间序列。二、general选项general选项卡允许定制面板的外观和菜单选项。1、信息标题——仪表板的面板标题，显示在顶部。描述—...

1、 访问地址IP:30002、 默认账号密码admin/admin3、 环境文件/etc/sysconfig/grafana-server4、 日志文件/var/log/grafana5、 数据库/var/lib/grafana/grafana.db6、 配置文件/etc/grafana/grafana.ini插件修改图形为饼状grafana-cli plugins ...

yarn1、概念yarn是一个资源调度平台，负责为运算程序提供服务器计算资源，相当于一个分布式操作系统，MR就是运行在其上的2、组件1）RM1>处理来自客户端的请求2>监控NM3>启动或监控AM4>资源分配与调度2）NM1>管理单节点上的资源2>处理来自RM的命令3>处理来自AM的启停命令4>容器的生命周期管理5>向RM汇报作业资源、每个容器的运行状态3）AM1>与RM协商获取资源2>把资源再分配给具体任务

hbase hbck1、简介hbck工具可以检测hbase集群的region一致性和完整性，同时可以修复损坏的集群数据工作模式两种：一致性检测只读模式，和多阶段修复模式2、集群的一致性状态1）region一致性集群中所有region都被assign，且region在Master内存、ZK和hbase：meta表三个地方一致2）表完整性集群中的任意一张表，每个rowkey都仅能存在于一个region区间中3、集群一致性状态检测1）命令hbase hbck一般集群规模较大尽量不要直接执行

hbase读写性能常用参数1、blockcache 作用–读性能参数：hfile.block.cache.size ##blockcache占用JVM的内存百分比，默认0.42、memstore 作用-- 写性能参数：hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128M，可调256M，即268435456hbase.hregion.memstore.block.multiplier 默认是4 ，即写入一个region中的所有me

关于hbase的merge（region合并）1、region的状态有以下几种1）OFFLINEregion处于offline状态，not opening2） OPENINGregion处于正在被opened状态３）OPENregion处于打开状态，且RS已经通知Master4） FAILED—OPENRS未成功open这个region5）CLOSINGregion处于正在关闭中6）CLOSEDRS已经关闭RS且通知了master7）FAILED—OPENRS close re

格式化Namenode（第一次启动要格式化，后面就不需要了）hdfs namenode -format###启停动所有stop-all.shstart-all.sh####单台启动启动namenodehadoop-daemon.sh start namenode启动datanodehadoop-daemon.sh start datanode启动SecondaryNameNodehadoop-daemon.sh start SecondaryNameNode清除yarn缓存su -

curl -s localhost:9200/_nodes/stats/os?pretty|grep used_percen##查看CPU使用率curl -s localhost:9200/_nodes/stats/jvm?pretty|grep heap_used_percent##查看内存curl -XGET localhost:9200/_cat/health?v##集群健康状况检查node.total 集群的总节点数，若与设置的节点数不符，需要查询原因。relo表示有多少个分片在迁移。I

[2021-11-19 16:00:07,685] ERROR Processor got uncaught exception. (kafka.network.Processor)java.lang.NoClassDefFoundError: Could not initialize class kafka.network.RequestChannel$at kafka.network.RequestChannelRequest.<init>(RequestChannel.scala:12

华为C651集群hbase 执行hbase hbck报错ERROR [main] master.TableLockManager: Unexpected ZooKeeper error when listing childrenorg.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /hbase/table-lock原因是因为用户认证的问题，需要用hbase的认证文件/opt/huawei/

脚本如下#!/bin/bashFile_split=400Master_ip=116。…time=$(date “+%Y_%m_%d”)Region_Name=1RegionNameFile="1Region_Name_File="1RegionN​ameF​ile="Region_Name"_"$time"if [ ! -n “$1” ];thenecho “Plase input your region!”elsecurl http://Masterip:60010/table.js

1、blockcache 读性能hfile.block.cache.size blockcache占用JVM的内存百分比，默认0.42、memstore 写性能hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128，可调256M 268435456hbase.hregion.memstore.block.multiplier 默认是4 写入一个region的所有memstore总和到达hbase.hregion.memsto

一、kafka节点内磁盘使用不均衡1、原因： 每次新建partition时，会选择partition少的目录，而不会考虑磁盘的使用空间2、解决1）停止broker2）对目录下的文件进行移动 kafka-logs每个dir下会有两个文件 recovery-point-offset-checkpoint replication-offset-checkpoint 移动partition后，需要修改对应目录中的这两个文件内容二、kafka中新扩容broker需要进行partition迁移

一、定义：分布式的基于发布订阅模式的消息队列1、概念1）Producer 消息生产者，就是向 kafka broker 发消息的客户端 2）Consumer消息消费者，向 kafka broker 取消息的客户端3）Consumer Group （CG） 消费者组，由多个 consumer 组成。 消费者组内每个消费者负责消费不同分区的数据， 一个分区只能由一个组内消费者消费；消费者组之间互不影响。 所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者 4）Bro

1、下载kafka-eagle-bin-2.0.8.tar.gz解压得到efak-web-2.0.8-bin.tar.gz在解压2、配置环境变量vim /etc/profileexport KE_HOME=/usr/kafka_eagle/efak-web-2.0.8export PATH=$PATH:$KE_HOME/bin##华为的话安装客户端后会有java环境，加下面这个就行source /opt/kafkaclient/bigdata_env##开源或其他的节点上没有java的

1、关闭防火墙2、关闭selinux3、安装jdkmkdir /usr/local/javatar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/java/vim /etc/profile export JAVA_HOME=/usr/local/java/jdk1.8.0_212 export JRE_HOME=/usr/local/java/jdk1.8.0_212/jre export CLASSPATH=.:$JAVA_HOME/lib

Zookeeper1、概念分布式、高性能、开源的分布式系统的协调服务，是一个分布式数据一致性的解决方案，为分布式应用提供高性能、高可用且具有严格属性访问控制能力的分布式协调存储服务。2、应用场景1）维护配置信息zab协议保证一致性2）分布式锁服务3）集群管理集群中节点加入\移除情况同步给其他节点，以及时调用存储和计算等任务的分配和执行4）生成分布式唯一ID3、设计目标1）高性能全量数据存储在内存中，直接发起与客户端的所有非事务请求，尤其适合用于以读为主的应用场景2）高可用Z

Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。下面我们就分几个方面介绍两个框架的主要区别：1. 架构模型：Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager和Slot。2. 任务调度：Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，Spark Stre

日志：ambari-metrics-collector.log1. 停止metrics所有服务2. 每台collector服务器上运行ps -ef |grep hbase-ams，确保无进程运行（如果有先kill掉）3. 删除zookeeper中对应路径，zookeeper-client rmr /ams-hbase-unsecure (路径为metrics配置中“znode parent”的值)4. 删除hdfs上目录，hdfs dfs -rm -R /user/ams/hbase（路径为metr

hdfs小文件问题背景原因：1）hdfs上每个文件都要在NN的上创建对应的元数据，每个文件对应的元数据大概150byte，这个元数据是要存储在NN的内存中。2）目前2.X之后每个文件块默认128M，但是时间生产中，经常会产生大量小文件，就会出现，集群数据存储不大，但是元数据特别多，占用大量NN内存影响：1）大量占用NN内存2）元数据文件过多，寻址索引速度变慢，甚至出现寻址时间大于数据读取时间3）MR计算时会生成过多的切片，需要启动过多的MapTask，每个MapTask处理的数据量很小，会出现

1、 GC调整默认自动分配GC、手动修改的话hadoop-env.shexport HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS-Xmx1024m"关于GC的修改参考NamenodeGC配置参考文件对象数量 参考值10,000,000 “-Xms6G -Xmx6G -XX:NewS

1、hdfs缺点(1)不适合低延时数据访问(2)无法高效存储大量小文件 ①大量小文件，会占用大量NN的内存来存储目录和块信息 ②寻址时间会超出文件读取时间(3)不支持并发写入、不支持文件随机修改 ①一个文件只能一个写，不允许多线程写入 ②仅支持追加，不支持修改2、Namenode作用(1)管理HDFS命名空间(2)配置副本策略(3)管理数据块（Block）映射信息(4)处理客户端的读写请求3、Datanode(1)存储实际数据(2)执行数据块读写4、Client(1)

今天在hive中删分区表时候报错Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. null (state=08S01,code=1)原因是任务申请的资源超上线了，解决办法是减少删除的分区数...

21-03-11 15:17:56,775 FATAL [regionserver/sh-hbase-1/110.4.4.21:16020] regionserver.HRegionServer: Master rejected startup because clock is out of sync org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server

报错如下，同步服务器时钟后重启服务| ERROR | main | Unexpected exception, exiting abnormally java.io.IOException: Could not configure server because SASL configuration did not allow the ZooKeeper server to authenticate itself properly: javax.security.auth.login.LoginExcept

问题原因任务运行中，若重启过flink服务，服务启动过程中会修改flink在hdfs上的目录权限及属组。任务运行时，触发checkpoint时会判断判断该目录owner是否正确，若不属于当前运行用户，会导致任务写checkpoint失败。1、在异常flink节点/opt/huawei/Bigdata/FusionInsight_Current/_FlinkResource/install/flink/sbin/flink-prestart.sh文件中搜索chmod，（**_根据环境中实际值调整）注释如

Kafka一、定义：分布式的基于发布订阅模式的消息队列Partition作用1）对topic的负载均衡能力2） 提高读写并发量3）方便在集群中扩展Leader：指partition的leaderFollower：leader的备份，副本，数据冗余，follower与leader必定不在同一个broke上，消息的生产、消费只连接leader，不会连接Follower一个partition只能被一个consumer group中的一个consumer消费二、Zookeeper 作用：1）

Hbase读比写数据要慢HBASE写流程1)Client–>从ZK上获取hbase:meta的regionserver位置，2)client访问hbase:meta所在regionserver，查询需要的目标表所在的regionserver（client会缓存）3）client连接目标表所在的regionserver，发起put4）先写WAL（预写入日志），实现类是Hlog，写入memstore中，client结束/hbase/meta-region-server 查看系统表所在regi