weixin_43697701的博客

原创 cm 7.6.1 Event Server Health告警

这是 CM版本7.6.1的bug，这个版本cm对于event store不会进行删除，所以数据会越来越大。CM7.6.1 CHF (Cumulative Hotfix)8版本中进行了修复。

原创 cm cdp告警 Swap Memory Usage Suppress...

下面命令设置程序尽可能不使用swap，使用swap会影响性能。在cdp集群中，一般要关掉swap，如果没有关。原因：服务器没有关swap，服务使用了swap。修改后，重启服务就不会使用swap了。

原创 python 函数多个返回值 函数的传参 匿名函数 lambda匿名函数

【代码】python 函数多个返回值 函数的传参 匿名函数 lambda匿名函数。

原创 python 数据容器常用通用方法

【代码】python 数据容器常用通用方法。

原创 python数据容器选取

原创 python 数据容器--字典

【代码】python 数据容器--字典。

原创 python 数据容器--集合 相关操作

【代码】python 数据容器--集合 相关操作。

原创 python 数据容器--序列--对元组、列表、字符串的截取

【代码】python 数据容器--序列--对元组、列表、字符串的截取。

原创 数据容器 --python的字符串

【代码】数据容器 --python的字符串。

原创 python tuple元组

【代码】python tuple元组。

原创 python列表

【代码】python列表。

原创 命令消费kafka报错(id: -1 rack: null) disconnected

WARN clients.NetworkClient: [Consumer clientId=consumer-console-consumer-52833-1, groupId=console-consumer-52833] Bootstrap broker xx.xx.xx.xx:9092 (id: -1 rack: null) disconnected

原创 关于CM kafka告警 kafka topic offline

kafka告警 kafka topic offline

原创 hdfs balance出现because threads quota is exceeded., reportedBlock move is failed

because threads quota is exceeded., reportedBlock move is failed

原创 hdfs datanode节点间balance

hdfs datanode节点间balance

原创 hdfs磁盘balance

hdfs disk balance

原创 nifi 的https访问api

Unable to view the controller. Contact the system administrator

原创 nifi Unable to write to container default due to archive file size constraints； waiting for archive

INFO org.apache.nifi.controller.repository.FileSystemRepository: Unable to write to container default due to archive file size constraints; waiting for archive cleanup

原创 cm 组件功能

cm 组件功能

原创 CDP 中DNS告警

The hostname and canonical name for this host are not consistent when checked from a Java process.

原创 alternatives的使用--切换python为例子

alternatives的使用--切换python为例子

原创 MR作业报错 limit=1048576 items=1048576

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /xxx/xxxx/xxxx/xxxxx/xxxxx is exceeded: limit=1048576 items=1048576

原创 Failover Controller报错java.io.IOException: Running in secure mode, but config doesn‘t have a keytab

CDH/CDP集群Failover Controller启动报错2022-04-18 14:49:17,895 ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.2022-04-18 14:49:17,896 INFO org.ap

原创 protheus监控hbase--对接CDP/CDH集群

本次使用prometheus监控CDP7.4.4集群HBase使用jmx 包为jmx_prometheus_javaagent-0.16.0.jarprometheus安装这里不赘述，只介绍如何与CDP集群对接1、下载prometheus​ http://prometheus.io2、下载jmx_exporthttps://github.com/prometheus/jmx_exporter3、下载grafana 的dashboard模板https://grafana.com/grafana

原创 prometheus监控hbase--对接ambari

本次使用javaagent-0.16.0版本监控hbase基于ambari1、下载jar包 jmx_prometheus_javaagent-0.16.0下载链接：https://github.com/prometheus/jmx_exporter/releases2、jar包放到集群中hbase启动的lib目录下/usr/hdp/3.1.4.0-315/hbase/lib下3、配置所有节点加上JMX exporter的agent，此处用的是ambari，故在页面添加hbase-env##对

原创 Pacemaker+Corosync实现高可用集群

Pacemaker集群管理:支持fence；对服务本身也有监控。使用corosync(提供底层的心跳)检测结点心跳搭建集群架构1）、配置yum源server1和server2：yum install pacemaker -yyum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y ##这两个包需要...

原创 MYSQL(主从备份、GTID备份、半同步复制、MHA实现主从复制高可用）

实验环境 rhel7.3 主机 server1 server2 ip 172.25.47.1 172.25.47.2 服务 主服务master 从属一、数据库的主从备份1、master侧1）安装[root@server1 ~]# cd mysql/[root@server1 mysql]# lsmaster_ip_failover mysq...

原创 Ansble（安装、ad-hoc、playbook）

一、概念二、基本配置此实验环境为rhel7.3此处使用yum安装包安装，需要提前下载好相应的安装包和依赖包,此处已经下载好，如下图：1、安装ansible安装在中控机，即server1上[root@server1 ansible]# yum install * -y [root@server1 ansible]# ansible --version ##查看版本2、创建一...

原创 SaltStack部署HAproxy、keepalived

一、部署HAproxy 主机 server1 server2 server3 server4 ip 172.25.47.1 172.25.47.2 172.25.47.3 172.25.47.4 服务 中控机 http http haproxy 方法一1、部署http在server2/server3部署http部署具体见：https://blo...

原创 单机版hadoop

1、建立用户useradd -u 1000 hadooppasswd hadoop ##密码设置为hadoop2、安装配置1）切换到hadoop用户2）准备jdk包和hadoop包，如图3）解压安装，并分别为java和hadoop做软连接tar -zxvf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ javatar -zxv...

原创 grafana简介

Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。1.1 七大特点①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。③通知：警报更改状态时，它会发...

原创 grafana页面配置--1

grafana 面板编辑器以 Editor 权限的账号进入到任意面板中，点击某个图表继而点击小弹窗中的 Edit 按钮，即可进入图表的编辑器界面。对于编辑器本文只介绍图表的重要配置，Metrics，Legend 和 DisplayMetrcisimage编辑模式 上图箭头指向的 toggle editor mode 可以控制编辑模式，关闭则需要手动输入查询语句，开启则是如上图的可以...

原创 grafana 配置文件详注

常用目录/etc/init.d/grafana-server ##启动脚本/etc/sysconfig/grafana-server ##默认和软件相关的环境变量/usr/sbin/grafana-server ##安装的二进制文件，可执行的命令/etc/grafana/grafana.ini ##配置文件/var/log/grafana/graf...

原创 grafana与zabbix

启用安装的zabbix插件2.配置Data source。zabbix api哪里的用户名和密码指的是zabbix的用户名密码3.测试4.创建模板这是zabbix插件自带的两个模板，里面模板的设置数据可以参考设置模板的名字5.创建模板变量这里可以使用正则匹配，匹配主机组这里要注意Query的格式，千万不要写错6.创建Host name，Uptime，Memory...

原创 grafana---3

Grafana中的主面板被简单地命名为Graph。它提供了一组非常丰富的图形选项。1、单击面板的标题会显示一个菜单。edit选项将为面板打开其他配置选项。2、单击以打开颜色和轴选择。3、单击此处只显示本时间序列。Shift/Ctrl +点击隐藏时间序列。二、general选项general选项卡允许定制面板的外观和菜单选项。1、信息标题——仪表板的面板标题，显示在顶部。描述—...

原创 grafana安装配置

1、 访问地址IP:30002、 默认账号密码admin/admin3、 环境文件/etc/sysconfig/grafana-server4、 日志文件/var/log/grafana5、 数据库/var/lib/grafana/grafana.db6、 配置文件/etc/grafana/grafana.ini插件修改图形为饼状grafana-cli plugins ...

原创 grafana页面配置--2

1.概述–美观、强大的可视化监控指标展示工具grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。最好的参考资料就是官网（http://docs.grafana.org/），虽然是英文，但是看多了就会啦。1.1基本概念Grafana支持许多不同的数据源。每个数据源都有一个...

原创 yarn概念

yarn1、概念yarn是一个资源调度平台，负责为运算程序提供服务器计算资源，相当于一个分布式操作系统，MR就是运行在其上的2、组件1）RM1>处理来自客户端的请求2>监控NM3>启动或监控AM4>资源分配与调度2）NM1>管理单节点上的资源2>处理来自RM的命令3>处理来自AM的启停命令4>容器的生命周期管理5>向RM汇报作业资源、每个容器的运行状态3）AM1>与RM协商获取资源2>把资源再分配给具体任务

原创 hbase hbck使用介绍

hbase hbck1、简介hbck工具可以检测hbase集群的region一致性和完整性，同时可以修复损坏的集群数据工作模式两种：一致性检测只读模式，和多阶段修复模式2、集群的一致性状态1）region一致性集群中所有region都被assign，且region在Master内存、ZK和hbase：meta表三个地方一致2）表完整性集群中的任意一张表，每个rowkey都仅能存在于一个region区间中3、集群一致性状态检测1）命令hbase hbck一般集群规模较大尽量不要直接执行

原创 hbase读写性能常用参数调优

hbase读写性能常用参数1、blockcache 作用–读性能参数：hfile.block.cache.size ##blockcache占用JVM的内存百分比，默认0.42、memstore 作用-- 写性能参数：hbase.hregion.memstore.flush.size 到达此值就会flush落盘，默认128M，可调256M，即268435456hbase.hregion.memstore.block.multiplier 默认是4 ，即写入一个region中的所有me