Hadoop生态圈之集群监控技术Zabbix

最新推荐文章于 2023-02-06 10:59:10 发布
最新推荐文章于 2023-02-06 10:59:10 发布
阅读量1k 收藏 5
点赞数
分类专栏： 大数据相关框架 文章标签： 大数据 zabbix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42796403/article/details/112687796
版权

目录

第1章 Zabbix入门

1.1 Zabbix概述

Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。

1.2 Zabbix 基础架构

在这里插入图片描述

第2章 Zabbix部署

2.1 集群规划

在这里插入图片描述

2.2 准备工作

2.2.1 关闭防火墙（3台节点，已关闭）

sudo service iptables stop
sudo chkconfig iptables off

2.2.2 关闭SELinux（hadoop102）

  1. 修改配置文件/etc/selinux/config
sudo vim /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2）重启服务器

sudo reboot

2.3 配置Zabbix yum源（3台节点）

2.3.1 安装yum源

执行以下命令安装yum源

sudo rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/4.4/rhel/7/x86_64/zabbix-release-4.4-1.el7.noarch.rpm

2.3.2 修改为阿里云镜像

1）查看原始zabbix.repo文件

sudo cat /etc/yum.repos.d/zabbix.repo

内容如下

[zabbix]
name=Zabbix Official Repository - $basearch
baseurl=http://repo.zabbix.com/zabbix/4.4/rhel/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591

[zabbix-debuginfo]
name=Zabbix Official Repository debuginfo - $basearch
baseurl=http://repo.zabbix.com/zabbix/4.4/rhel/7/$basearch/debuginfo/
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591
gpgcheck=1

[zabbix-non-supported]
name=Zabbix Official Repository non-supported - $basearch
baseurl=http://repo.zabbix.com/non-supported/rhel/7/$basearch/
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
gpgcheck=1

2）执行以下命令完成全局替换

sudo sed -i 's/http:\/\/repo.zabbix.com/https:\/\/mirrors.aliyun.com\/zabbix/g' /etc/yum.repos.d/zabbix.repo

3）查看修改之后的zabbix.repo文件

sudo cat /etc/yum.repos.d/zabbix.repo

内容如下

[zabbix]
name=Zabbix Official Repository - $basearch
baseurl=https://mirrors.aliyun.com/zabbix/zabbix/4.4/rhel/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591

[zabbix-debuginfo]
name=Zabbix Official Repository debuginfo - $basearch
baseurl=https://mirrors.aliyun.com/zabbix/zabbix/4.4/rhel/7/$basearch/debuginfo/
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591
gpgcheck=1

[zabbix-non-supported]
name=Zabbix Official Repository non-supported - $basearch
baseurl=https://mirrors.aliyun.com/zabbix/non-supported/rhel/7/$basearch/
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
gpgcheck=1

2.4 安装Zabbix

在三台节点分别执行以下安装命令

[hadoop@hadoop102 ~]$ sudo yum install zabbix-server-mysql zabbix-web-mysql zabbix-agent

[hadoop@hadoop103 ~]$ sudo yum install zabbix-agent

[hadoop@hadoop104 ~]$ sudo yum install zabbix-agent

2.5 配置Zabbix

2.5.1 创建zabbix数据库

[hadoop@hadoop102 ~]$ mysql -uroot -p123456 -e"create database zabbix character set utf8 collate utf8_bin"

2.5.2 导入Zabbix建表语句

[hadoop@hadoop102 ~]$ zcat /usr/share/doc/zabbix-server-mysql-4.4.10/create.sql.gz | mysql -uroot -p123456 zabbix

2.5.3 配置Zabbix_Server（hadoop102）

修改zabbix-server配置文件

sudo vim /etc/zabbix/zabbix_server.conf

DBHost=hadoop102
DBName=zabbix
DBUser=root
DBPassword=123456

2.5.4 配置Zabbix_Agent（三台节点）
修改zabbix-agent配置文件

sudo vim /etc/zabbix/zabbix_agentd.conf

Server=hadoop102
#ServerActive=127.0.0.1
#Hostname=Zabbix server

2.5.5 配置Zabbix_Web时区

修改/etc/httpd/conf.d/zabbix.conf文件

sudo vim /etc/httpd/conf.d/zabbix.conf


#
# Zabbix monitoring system php web frontend
#

Alias /zabbix /usr/share/zabbix

<Directory "/usr/share/zabbix">
    Options FollowSymLinks
    AllowOverride None
    Require all granted

    <IfModule mod_php5.c>
        php_value max_execution_time 300
        php_value memory_limit 128M
        php_value post_max_size 16M
        php_value upload_max_filesize 2M
        php_value max_input_time 300
        php_value max_input_vars 10000
        php_value always_populate_raw_post_data -1
        php_value date.timezone Asia/Shanghai
    </IfModule>
</Directory>

2.3.6 启动Zabbix

[hadoop@hadoop102 ~]$ sudo systemctl start zabbix-server zabbix-agent httpd
[hadoop@hadoop102 ~]$ sudo systemctl enable zabbix-server zabbix-agent httpd

[hadoop@hadoop103 ~]$ sudo systemctl start zabbix-agent
[hadoop@hadoop103 ~]$ sudo systemctl enable zabbix-agent

[hadoop@hadoop104 ~]$ sudo systemctl start zabbix-agent
[hadoop@hadoop104 ~]$ sudo systemctl enable zabbix-agent

2.3.7 配置Zabbix_Web数据库

1）浏览器访问http://hadoop102/zabbix
在这里插入图片描述

2）检查配置
在这里插入图片描述

3）配置数据库
在这里插入图片描述

4）配置zabbix-server
在这里插入图片描述

第4章 Zabbix使用

4.1 Zabbix术语

3.1.1 Host（主机）

一台你想监控的网络设备，用IP或域名表示。

3.2.1 Item（监控项）

你想要接收的主机的特定数据，一个度量数据。

3.2.2 Trigger（触发器）

一个被用于定义问题阈值和“评估”监控项接收到的数据的逻辑表达式。

3.2.3 Action（动作）

一个对事件做出反应的预定义的操作，比如邮件通知。

4.2 Zabbix实战

4.2.0 登录

Admin/zabbix

4.2.1 创建Host

1）点击Configuration/Hosts/Create host
在这里插入图片描述

2）配置Host
在这里插入图片描述

3）查看新增Host
在这里插入图片描述

4.2.2 创建Item

1）点击Items
在这里插入图片描述

2）点击Create item
在这里插入图片描述

3）配置Item
在这里插入图片描述

4）查看创建的Item
在这里插入图片描述

5）查看Item最新数据
在这里插入图片描述

4.2.3 创建Trigger

1）点击Conguration/Hosts/Triggers
在这里插入图片描述

2）点击Create Trigger
在这里插入图片描述

3）编辑Trigger
在这里插入图片描述

4）测试Trigger
关闭集群中的HDFS，会有如下效果
在这里插入图片描述

4.2.4 创建Media type

1）点击Administration/Media types/Email
在这里插入图片描述

2）编辑Email
在这里插入图片描述

3）测试Email
在这里插入图片描述

4）Email绑定收件人
在这里插入图片描述

4.2.4 创建Action

1）点击Configuration/Actions/Create action
在这里插入图片描述

2）编辑Action
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3）测试
重新启动HDFS，再关闭HDFS时，即可收到邮件通知

大数据面壁者
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zabbix监控Hadoop集群
悦分享
09-22 892
Zabbix概述Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。
zabbix+flume+hadoop安装及其监控
叶子的博客
05-18 5175
hadoop 2.71的集群安装，flume1.6安装，zabbix3.0集群安装，并配置监控flume和机器CPU及java虚拟机消耗和内存消耗。
zabbix监控hadoop进程
weixin_34050389的博客
03-21 1213
环境：centos6.7 | zabbix3.2.4 | hadoop2.6.0主要监控进程：journalnode |namenode |zkfc |datanode监控脚本:hadoop.sh#!/bin/bash server=$1 case$serverin journalnode) /etc/init.d/hadoop-...
集群监控系统【zabbix】
吴业亮的专栏
12-21 3127
集群监控系统 前言 Zabbix 是由 Alexei Vladishev 开发的一种网络监视、管理系统，基于 Server-Client 架构。可用于监视各种网络服务、服务器和网络机器等状态。 使用各种 Database-end 如 MySQL, PostgreSQL, SQLite, Oracle 或 IBM DB2 储存资料。Server 端基于 C语言、Web 管理端 frontend
zabbix 数据库分区分表，彻底解决烦人的Zabbix housekeeper processes more than 75% busy
xuhongshu的博客
02-06 3560
Zabbix的内务管理流程负责删除旧的趋势和历史数据。使用 SQL 删除查询从数据库中删除旧数据可能会对数据库性能产生负面影响。因此，我们中的许多人都收到了烦人的警报“”。Zabbix housekeeper processes more than 75% busy 这个问题可以通过数据库分区轻松解决。分区为每小时或每天创建表，并在不再需要时删除它们。SQL DROP 比 DELETE 语句更有效。
Hadoop生态圈技术栈(上)
最新发布
03-25
拉钩hive笔记
hadoop 生态圈集群搭建
01-22
hadoop 2.7.5 集群搭建 spark 2.2.1 集群搭建，配置scala编译环境 hive on spark 安装 hbase 搭建
hadoop生态圈组件搭建全过程
03-12
hadoop生态圈组件搭建全过程，介绍如何安装一套大数据计算框架的过程。
尚硅谷大数据技术之Zabbix集群监控1
08-04
尚硅谷大数据技术之 Zabbix 集群监控 本资源主要介绍 Zabbix 的集群监控，涵盖了 Zabbix 的概述、安装、配置、集群规划等方面的内容。下面是对资源中所涉及到的知识点的详细说明： 1. Zabbix 概述 Zabbix 是一款...
Hadoop集群监控与Hive高可用.pdf
08-21
Hadoop集群监控与Hive高可用 本文档主要介绍了Hadoop集群监控和Hive高可用的解决方案，涵盖了Cacti和Ganglia两种监控工具的优缺点、Hive高可用集群的实现方案、HAProxy的应用和优化。 一、Hadoop集群监控 1. ...
Hadoop-Apache Hadoop大数据解决方案的整体介绍
热爱你的热爱吧
06-16 618
概述Hadoop
hadoop 集群监测_【原创】ganglia监控hadoop集群
weixin_39992660的博客
12-31 325
最近研究了一下ganglia监控hadoop集群，大致可以监控hadoop集群中节点的性能。比如CPU、内存、IO、交换分区等。这里就不一一介绍！网上部署监控的文档很多，乱起八糟的也很多，主要是每个人的环境都不一样导致，但是我自己看的还是比较头晕，以至于有的人还直接发布安装脚本，结果可笑的就是脚本拿下来后运行直接报错。这里就不说别人不好的地方了，分享技术是种好事，但是不正确的文档肯定会导致初学者盲...
大数据之Zabbix
weixin_47884711的博客
03-18 348
大数据之Zabbix 文章目录大数据之Zabbix第1章 Zabbix入门1.1 Zabbix概述1.2 Zabbix 基础架构第2章 Zabbix部署2.1 集群规划2.2 准备工作2.2.1 关闭集群2.2.2 关闭防火墙（3台节点，已关闭）2.2.3 关闭SELinux（hadoop102）2.3 配置Zabbix yum源（3台节点）2.3.1 安装yum仓库2.3.2 修改zabbix仓库配置文件2.4 安装Zabbix2.5 配置Zabbix2.5.1 创建zabbix数据库2.5.2 导入Z
zabbix elasticsearch 安装
热门推荐
Alan Zhuang的博客
11-28 2万+
本博客为官网文档的翻译： 原文：https://www.zabbix.com/documentation/current/manual/appendix/install/elastic_search_setup （一）     Elasticsearch的支持是试验性的，本节中考虑的设置过程适用于以下Elasticsearch版本：5.0.x–6.1.x。如果使用早期或后期的Elastics...
hadoop 集群监测_Hadoop记录-Hadoop集群重要监控指标
weixin_34336527的博客
12-31 823
通用监控指标对于每个RPC服务应该监控RpcProcessingTimeAvgTime(PRC处理的平均时间)通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间CallQueueLength(RPC Call队列的长度)如果callqueue队列数值一直处于较高的水平，例如对于NN来说CallQueue的长度等于handl...
Hadoop监控方法总结
jason的专栏
01-03 1万+
接触Hadoop已经一年半了，期间积累了一些Hadoop运维经验，一直想自己开发一套Hadoop监控系统，正好最近实验室有个相关的项目，就借机研究了一下，在这里总结一下Hadoop监控办法。 一直认为Hadoop本身自带的HDFS和JobTracker监控页面是最好用的监控页面，简单明了。但是现在想要自己开发一套监控系统，那该怎样去获取Hadoop集群的当前状况呢？ 网页抓取 首先，想到
基于ARM64银河麒麟V4，通过Prometheus+Grafana+Hadoop实现对大数据集群监控
YYC1503的博客
11-04 9874
部署简介 通过jmx_exporter对大数据各个组件进行参数监控，通过node_exporter对服务器基础进行参数监控，使用prometheus进行数据存贮，通过grafana进行界面展示 安装包下载准备 jmx获取方式：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/ prometheus相关...
以容器部署Ganglia并监控Hadoop集群
smooth的博客
05-29 4615
网上有很多Ganglia部署的教程，每一个我都觉得繁琐，我的目的只是用来监控Hadoop测试集群，能即刻使用才是王道，于是我想到通过Rancher部署Ganglia应用服务（类似于我在上一篇文章中部署Jmeter容器集群的方式），以容器的方式一键部署，省去了中间繁琐的安装过程。 第一步：安装部署Docker 1、对于CantOS安装Docker最好是CentOS7，这样可以保证内核至少是3.1...
大数据挑战与Hadoop入门：探索Hadoop生态圈
"大数据的挑战与Hadoop生态圈入门" 在当今数字化时代，大数据已经成为企业和组织面临的重要议题。随着科技的进步和互联网的普及，数据的产生和收集速度呈现出爆炸性增长。例如，Facebook每天就生成250TB的数据，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值