weixin_43697701的博客

1、 访问地址IP:30002、 默认账号密码admin/admin3、 环境文件/etc/sysconfig/grafana-server4、 日志文件/var/log/grafana5、 数据库/var/lib/grafana/grafana.db6、 配置文件/etc/grafana/grafana.ini插件修改图形为饼状grafana-cli plugins ...

yarn1、概念yarn是一个资源调度平台，负责为运算程序提供服务器计算资源，相当于一个分布式操作系统，MR就是运行在其上的2、组件1）RM1>处理来自客户端的请求2>监控NM3>启动或监控AM4>资源分配与调度2）NM1>管理单节点上的资源2>处理来自RM的命令3>处理来自AM的启停命令4>容器的生命周期管理5>向RM汇报作业资源、每个容器的运行状态3）AM1>与RM协商获取资源2>把资源再分配给具体任务

Hbase读比写数据要慢HBASE写流程1)Client–>从ZK上获取hbase:meta的regionserver位置，2)client访问hbase:meta所在regionserver，查询需要的目标表所在的regionserver（client会缓存）3）client连接目标表所在的regionserver，发起put4）先写WAL（预写入日志），实现类是Hlog，写入memstore中，client结束/hbase/meta-region-server 查看系统表所在regi

hbase hbck1、简介hbck工具可以检测hbase集群的region一致性和完整性，同时可以修复损坏的集群数据工作模式两种：一致性检测只读模式，和多阶段修复模式2、集群的一致性状态1）region一致性集群中所有region都被assign，且region在Master内存、ZK和hbase：meta表三个地方一致2）表完整性集群中的任意一张表，每个rowkey都仅能存在于一个region区间中3、集群一致性状态检测1）命令hbase hbck一般集群规模较大尽量不要直接执行

hbase读写性能常用参数1、blockcache 作用–读性能参数：hfile.block.cache.size ##blockcache占用JVM的内存百分比，默认0.42、memstore 作用-- 写性能参数：hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128M，可调256M，即268435456hbase.hregion.memstore.block.multiplier 默认是4 ，即写入一个region中的所有me

关于hbase的merge（region合并）1、region的状态有以下几种1）OFFLINEregion处于offline状态，not opening2） OPENINGregion处于正在被opened状态３）OPENregion处于打开状态，且RS已经通知Master4） FAILED—OPENRS未成功open这个region5）CLOSINGregion处于正在关闭中6）CLOSEDRS已经关闭RS且通知了master7）FAILED—OPENRS close re

Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。下面我们就分几个方面介绍两个框架的主要区别：1. 架构模型：Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager和Slot。2. 任务调度：Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，Spark Stre

一、kafka节点内磁盘使用不均衡1、原因： 每次新建partition时，会选择partition少的目录，而不会考虑磁盘的使用空间2、解决1）停止broker2）对目录下的文件进行移动 kafka-logs每个dir下会有两个文件 recovery-point-offset-checkpoint replication-offset-checkpoint 移动partition后，需要修改对应目录中的这两个文件内容二、kafka中新扩容broker需要进行partition迁移

一、定义：分布式的基于发布订阅模式的消息队列1、概念1）Producer 消息生产者，就是向 kafka broker 发消息的客户端 2）Consumer消息消费者，向 kafka broker 取消息的客户端3）Consumer Group （CG） 消费者组，由多个 consumer 组成。 消费者组内每个消费者负责消费不同分区的数据， 一个分区只能由一个组内消费者消费；消费者组之间互不影响。 所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者 4）Bro

1、blockcache 读性能hfile.block.cache.size blockcache占用JVM的内存百分比，默认0.42、memstore 写性能hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128，可调256M 268435456hbase.hregion.memstore.block.multiplier 默认是4 写入一个region的所有memstore总和到达hbase.hregion.memsto

脚本如下#!/bin/bashFile_split=400Master_ip=116。…time=$(date “+%Y_%m_%d”)Region_Name=1RegionNameFile="1Region_Name_File="1RegionN​ameF​ile="Region_Name"_"$time"if [ ! -n “$1” ];thenecho “Plase input your region!”elsecurl http://Masterip:60010/table.js

华为C651集群hbase 执行hbase hbck报错ERROR [main] master.TableLockManager: Unexpected ZooKeeper error when listing childrenorg.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /hbase/table-lock原因是因为用户认证的问题，需要用hbase的认证文件/opt/huawei/

#!/bin/bashmydata=202112030954${字符串变量：起始位：截取长度}echo mydata:0:4"−"{mydata:0:4}"-"mydata:0:4"−"{mydata:4:2}"-"mydata:6:2""{mydata:6:2}" "mydata:6:2""{mydata:8:2}":"${mydata:10:2}

[2021-11-19 16:00:07,685] ERROR Processor got uncaught exception. (kafka.network.Processor)java.lang.NoClassDefFoundError: Could not initialize class kafka.network.RequestChannel$at kafka.network.RequestChannelRequest.<init>(RequestChannel.scala:12

ipmcget -t storage -d pdinfo -v all ##查看硬盘序号ipmcset -t storage -d createld -v 0 -rl r1 -pd 24,25 -wp wbwithbbu -init quick ##做raid，24、25即2块600G硬盘序号ipmcget -t storage -d ldinfo -v 0 all ##查看raid情况ipmcset -d powerstate -v 2 下电ipmcget -d powerstate ##查看

Kafka一、定义：分布式的基于发布订阅模式的消息队列Partition作用1）对topic的负载均衡能力2） 提高读写并发量3）方便在集群中扩展Leader：指partition的leaderFollower：leader的备份，副本，数据冗余，follower与leader必定不在同一个broke上，消息的生产、消费只连接leader，不会连接Follower一个partition只能被一个consumer group中的一个consumer消费二、Zookeeper 作用：1）

报错如下，同步服务器时钟后重启服务| ERROR | main | Unexpected exception, exiting abnormally java.io.IOException: Could not configure server because SASL configuration did not allow the ZooKeeper server to authenticate itself properly: javax.security.auth.login.LoginExcept

考试时间为2小时（共18题)考试信息：IPADDR: 172.25.254.x(X 在这里指您的工作站编号加100)NETMASK: 255.255.255.0GATEWAY: 172.25.254.47DNS: 172.25.254.47yum源地址为：http://172.25.254.47/westos配置： cd /etc/sysconfig/network-script...

curl -s localhost:9200/_nodes/stats/os?pretty|grep used_percen##查看CPU使用率curl -s localhost:9200/_nodes/stats/jvm?pretty|grep heap_used_percent##查看内存curl -XGET localhost:9200/_cat/health?v##集群健康状况检查node.total 集群的总节点数，若与设置的节点数不符，需要查询原因。relo表示有多少个分片在迁移。I

21-03-11 15:17:56,775 FATAL [regionserver/sh-hbase-1/110.4.4.21:16020] regionserver.HRegionServer: Master rejected startup because clock is out of sync org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server

今天在hive中删分区表时候报错Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. null (state=08S01,code=1)原因是任务申请的资源超上线了，解决办法是减少删除的分区数...

##查看磁盘情况./arcconf_linux_x86 getconfig 1 pd#Reported Channel,Device(T:L) : 0,35(35:0)如果是ready#创建raid0./arcconf_linux_x86 create 1 logicaldrive max volume 0 35上述命令含义，create代表创建逻辑磁盘，1代表controller 1，max代表阵列容量为最大，可根据需要设置需要的容量，以M为单位，只需输入所需要容量对应的数

a)上传下载的客户端到服务器opt目录下b)tar -xvf FusionInsight_Services_Client.tarc)sha256sum -c FusionInsight_Services_ClientConfig.tar.sha256d)tar -xvf FusionInsight_Services_ClientConfig.tare)创建一个client的目录mkdir /opt/hive_clientf)安装客户端cd FusionInsight_Services_Client

storcli工具根据盘符确认磁盘1、确认target IDll /sys/block/target4:2:11/4:2:11:0/block/sdl 此处11就是Target ID2、通过target ID 确认硬盘槽位号 --------——-----------------------本步骤后信息获取都是从/home/wanghaha.txt中通过搜索关键字storcli64 /call show alilog > /home/wanghaha.txt去/home/wanghah

parted -s /dev/sdt mklabel gptparted -s /dev/sdt mkpart primary 0% 100% mkfs.ext4 /dev/sdt1

echo 3 > /proc/sys/vm/drop_caches

格式化Namenode（第一次启动要格式化，后面就不需要了）hdfs namenode -format###启停动所有stop-all.shstart-all.sh####单台启动启动namenodehadoop-daemon.sh start namenode启动datanodehadoop-daemon.sh start datanode启动SecondaryNameNodehadoop-daemon.sh start SecondaryNameNode清除yarn缓存su -

1、磁盘使用不均衡–当某节点某块盘使用占比特别大时候，需要将这块盘上部分分区移到其他盘，首先要停止该节点程序（此处是华为集群）/srv/BigData/kafka/data4/kafka-logs 数据目录移动相应的分区##需要对这两个文件进行修改，减少文件中第二行的数字（若移出多个目录，则减少的数字为移出的目录个数），删除文件中要移走的分区名。recovery-point-offset-checkpointreplication-offset-checkpoint分区移到哪块盘，在对应盘的

1、计算时间戳date -d “2019-02-07” +%s2、获取当天日期 date=`date +%Y%m%d`或date -d "now" +%Y%m%d3、获取前一天时间 date=`date -d yesterday +%Y%m%d`或 date=`date -d "1 days ago" +%Y%m%d`4、获取前两天时间 date=`date -...

解决设备正忙情况umount: /h/d20: target is busy. (In some cases useful info about processes that use the device is found by lsof(8) or fuser(1))

sed -i ‘s/ONBOOT=yes/ONBOOT=no/g’ /etc/sysconfig/network-scripts/ifcfg-enp3s0f0

//单盘raid0cd /soft/MegaRAID/MegaCli/;./MegaCli64 -CfgEachDskRaid0 WB RA Direct -aALL//Raid5+单盘全局热备cd /soft/MegaRAID/MegaCli/;./MegaCli64 -CfgAllFreeDrv -r5 WB RA Direct -HspCount 1 -a0//Raid5cd /s...

service ipmi start #开启ipmi服务ipmitool lan set 1 ipsrc static ##设置静态ipmitool lan set 1 ipaddr 110.204.3.81 ##设置ipipmitool lan set 1 netmask 255.255.248.0 ##设置掩码ipmitool lan set 1 defgw ipaddr 110...

1、python3版本的安装1）.拿到源码安装包(python3.6)---&amp;amp;gt;去官网下载2）.解压安装包到/opt目录 tar zxf Python-3.6.4.tgz -C /opt ##解压缩到/opt,外部软件一般安装在/opt下 cd /opt/ cd Python-3.6.4/3）.安装编译过程中需要的依赖包：gcc,zlib,zlib-devel,op...