Zabbix+Logstash+钉钉日志告警

最新推荐文章于 2023-03-08 23:16:25 发布
最新推荐文章于 2023-03-08 23:16:25 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Linux 运维 文章标签： mariadb mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMZ8848/article/details/125096232
版权

方案

调研了目前一些方案，有通过ElastAlert+elastalert-dingtalk-plugin，也试了一下踩了坑一直起不来遂放弃。还有通过sentinel看了一下，要求和es版本强一致性，遂放弃。
最后选取了，Zabbix+Logstash的方案，毕竟是专业做监控的，考虑到日后可能会有更多拓展内容要做，同时使用logstash不会影响到kibana，在推送到es的同时，过滤异常的消息推送打zabbix，可以自定义的拦截不同的日志

用到的组件

  1. Logstash
  2. Zabbix

安装Zabbix

下载安装

安装repo、server、agent以及frontend:

rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm

yum install zabbix-server-mysql zabbix-agent -y

yum install centos-release-scl -y

修改配置文件，enabled=0改成enabled=1

vim /etc/yum.repos.d/zabbix.repo

在这里插入图片描述
安装frontend包

 yum install zabbix-web-mysql-scl zabbix-apache-conf-scl

安装数据库

下载mariadb数据库

yum  install mariadb mariadb-server -y

启动数据库

service mariadb start

设置开机启动mariadb数据库

systemctl enable mariadb

查看进程

[root@izbp10k7vskcf4soxxbp5gz ~]# ps aux | grep mysql
root     10680  0.0  0.0 112660   968 pts/5    S+   10:49   0:00 grep --color=auto mysql
mysql    25499  0.0  0.0 113260  1584 ?        Ss   May31   0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql    25669  0.1  0.5 2684056 170996 ?      Sl   May31   3:35 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
root     30378  0.1  4.9 6993712 1602672 ?     Sl   May10  63:17 /usr/local

进入数据库，并创建用户
注意首次进入时，需输入密码，无需理会，双击回车即可进入

mysql -uroot -p

create database zabbix character set utf8 collate utf8_bin;

create user zabbix@localhost identified by '123456';

grant all privileges on zabbix.* to zabbix@localhost;

quit;

关闭防火墙

service firewalld stop

systemctl disable firewalld

关闭selinux安全机制，临时和永久都关闭

vim /etc/sysconfig/selinux

把SELINUX修改为disabled
SELINUX=disabled

导入初始化架构

zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz | mysql -uzabbix -p zabbix

修改 Zabbix server配置数据库

vim /etc/zabbix/zabbix_server.conf在这里插入代码片

修改
DBPassword=123456

为Zabbix前端配置PHP

vim /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf

在最后面添加这一行
php_value[date.timezone] = Asia/Shanghai

启动Zabbix server和agent进程

systemctl restart zabbix-server zabbix-agent httpd rh-php72-php-fpm
systemctl enable zabbix-server zabbix-agent httpd rh-php72-php-fpm
 
# 看进程、端口
ps aux|grep zabbix
netstat -anplut|grep zabbix

配置前端

安装zabbix server的时候默认就安装了apache,zabbix依靠apache提供的web服务,修改Zabbix的浏览器访问端口，就是修改apache的服务端口（默认端口：80）

vim /etc/httpd/conf/httpd.conf

# 修改端口，可自定义
Listen 8008

# 重启apache服务
service httpd restart

浏览器 访问http://IP+端口/zabbix
在这里插入图片描述
全部设置好之后，登录Zabbix
用户名: Admin
密码：zabbix
在这里插入图片描述
修改为中文
在这里插入图片描述

配置Logstash

安装完Zabbix之后，配置Logstash，首先需要下载logstash的插件logstash-output-zabbix

# 去到logstash的安装目录 下载
/usr/local/logstash/logstash-7.7.0/bin/logstash-plugin install logstash-output-zabbix
# 查看已经安装的插件 
/usr/local/logstash/logstash-7.7.0/bin/logstash-plugin list

去到配置文件目录

[root@izbp10k7vskcf4soxxbp5gz config]# ls
demo.conf    log4j2.properties     logstash.yml   startup.options
jvm.options  logstash-sample.conf   pipelines.yml
[root@izbp10k7vskcf4soxxbp5gz config]# pwd
/usr/local/logstash/logstash-7.7.0/config
[root@izbp10k7vskcf4soxxbp5gz config]#

新建一个demo.conf，仅供参考，可以根据自己的实际业务定制

input {
	# logstash支持多种输入
	# 此处我采用的是springboot项目的logback集成logstash的方式
	# 也可以采用filebeat的方式
  tcp {
    port => 9600
    codec => json_lines
  }
}


filter {

    mutate  {
           add_field => ["[zabbix_key]","oslogs"] # zabbix_key可以自定义
           add_field => ["[zabbix_host]","Zabbix server"] # 注意zabbix_host需要与zabbix中host对应，可以进入zabbix查看
           add_field => ["[msg]","%{appname} %{message}"]
        }
}

output {
	# 重点参考以下为
    if [level] =~ /(ERR|error|ERROR|Failed)/ {  
      zabbix {                            
        zabbix_host => "[zabbix_host]" 
        zabbix_key => "[zabbix_key]" 
        zabbix_server_host => "xxx.16.143.246" # zabbix的主机ip
        zabbix_server_port => "10051"
        zabbix_value => "msg" # zabbix_value为要输出的日志内容
        } 
    }
  
 stdout {
    # 输出到命令窗口
    codec => rubydebug            
  } 
}

保存配置并启动logstash

# 建议先使用直接启动方式，便于排查
bin/logstash -f config/demo.conf

# 后台启动
nohup bin/logstash -f config/demo.conf  &

配置Zabbix

首先创建一个模版
在这里插入图片描述
在这里插入图片描述
配置该模版的应用logstash-zabbix-app
在这里插入图片描述
配置一个监控项
在这里插入图片描述
在这里插入图片描述
创建完之后，把该模板应用到主机
在这里插入图片描述
选择刚才新建的模版
在这里插入图片描述
之后去触发logstash，并查看
在这里插入图片描述
在这里插入图片描述
至此，工作已经完成了一半，如果消息无法收到，可以看看logstash的配置适合和zabbix有出入

配置触发器，还是在上面模版上新增触发器
在这里插入图片描述
去到首页，重新触发，查看效果
在这里插入图片描述

配置钉钉推送

先去钉钉创建一个群，并配置一个机器人
查看zabbix脚本存放的位置

[root@izbp10k7vskcf4soxxbp5gz /]# grep ^AlertScriptsPath /etc/zabbix/zabbix_server.conf
AlertScriptsPath=/usr/lib/zabbix/alertscripts
[root@izbp10k7vskcf4soxxbp5gz /]#

去到对应的目录

[root@izbp10k7vskcf4soxxbp5gz /]# cd /usr/lib/zabbix/alertscripts

# 创建文件dingding.py 和 dingding.log
[root@izbp10k7vskcf4soxxbp5gz alertscripts]# ls
dingding.log  dingding.py

钉钉推送脚本

#!/usr/bin/env python
#coding:utf-8
"""
Description : 测试钉钉群机器人推送消息
安全设置是必填项，例如
   自定义关键字：钉钉
   钉钉发送通知时，必须包含关键字 "钉钉"，不然会报 keyword not in content。
"""
import requests,json,sys,os,datetime
webhook="https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxx"
user=sys.argv[1]
text=sys.argv[3]
data={
    "msgtype": "text",
    "text": {
        "content": text
    },
    "at": {
        "atMobiles": [
            "186..."  #需要@群里谁
        ],
        "isAtAll": False   #是否全部@，True为是,False为否
    }
}
headers = {'Content-Type': 'application/json'}
x=requests.post(url=webhook,data=json.dumps(data),headers=headers)
if os.path.exists("/usr/lib/zabbix/alertscripts/dingding.log"):
    f=open("/usr/lib/zabbix/alertscripts/dingding.log","a+")
else:
    f=open("/data/logs/zabbix/dingding.log","w+") # 修改为自己的日志路径，及刚才创建的日志路径
f.write("\n"+"--"*30)
if x.json()["errcode"] == 0:
    f.write("\n"+str(datetime.datetime.now())+"    "+str(user)+"    "+"发送成功"+"\n"+str(text))
    f.close()
else:
    f.write("\n"+str(datetime.datetime.now()) + "    " + str(user) + "    " + "发送失败" + "\n" + str(text))
    f.close()

给予权限

chmod +x dingding.py

测试脚本是否可正常执行

./dingding.py xxx test "这是条告警测试信息，请忽略"

注意在配置钉钉群的时候有个坑，发送的消息一定要包含钉钉自定义关键字，切记！切记！切记！
在这里插入图片描述
不出意外，消息是正常可以接收到
在这里插入图片描述

配置Zabbix触发推送

首先创建一个告警媒介
在这里插入图片描述
在这里插入图片描述

脚本参数：

{ALERT.SENDTO}

#对应脚本中的(发给钉钉群中哪个用户)。

{ALERT.SUBJECT}

#代表发送的信息的标题

{ALERT.MESSAGE}

#对应脚本中的发送的报警内容

先点击测试，看看是否顺畅
在这里插入图片描述
创建一个新动作
在这里插入图片描述
选择上文创建的触发器
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
参考如下

默认接收人：告警等级：{TRIGGER.SEVERITY}  主机:{HOSTNAME1} {TRIGGER.NAME}
 
默认信息： 
告警主机：{HOSTNAME1}
 
告警信息：{TRIGGER.NAME}
 
告警等级：{TRIGGER.SEVERITY}
 
告警项目：{ITEM.NAME} 
 
告警时间：{EVENT.DATE}_{EVENT.TIME}
 
当前状态：故障  值={ITEM.VALUE1}
 
故障已持续{EVENT.AGE}，请尽快处理
 
事件ID:{EVENT.ID}

选择管理员，对应上面配置的动作

在这里插入图片描述
添加一个新的报警媒介
在这里插入图片描述
新建的时候选择对应的动作
在这里插入图片描述
至此，配置完成
触发动作，去到首页查看效果
在这里插入图片描述
钉钉消息推送
在这里插入图片描述

参考文章

Zabbix 5.0版本的详细安装教程
Zabbix与ELK整合实现对安全日志数据的实时监控告警
zabbix实现钉钉告警
Zabbix5.0钉钉告警实战

秧木子
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash-zabbix插件应用
weixin_53187893的博客
04-11 666
首先是在zabbix监控平台搭建好的情况下做的，我使用的是一键安装zabbix的脚本安装的zabbix-server，在此就不做演示了。 这里演示的是使用logstash-zabbix插件监控zabbix-server。 **使用logstash-zabbix插件应用目的： 在zabbix-server上用logstah-zabbix插件创建主机，监控项，触发器，监控server和agent。 ** 原理： 通过logstash监控/home/elk/test.log文件是否为空，若不为空，则触发报警 环境
Zabbix与ELK整合实现对日志数据的实时监控
diyuan8262的专栏
08-31 988
4.2、zabbix平台配置日志告警 一、 ELK与zabbix有什么关系？ ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了？这两个放到一起是什么目的呢，听我细细道来。 ELK是一套日志收集套件，它其实有由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网...
CentOS7设置systemd管理Logstash服务遇到的坑
cang3691的博客
07-27 3128
Information : 玩ELK也挺久了，有时间把遇到的坑都写出来1. 测试环境CentOS7 操作系统 ， rsyslog , logstash6.2.4（二进制方式安装）2. 问题在设置以logstash用户去启动服务的时候会发生如下报错Jul2717:39:02zabbix-serverlogstash:[2019-07-27T17:39:02,995][...
logstash 和filebeat实现java业务错误日志发送钉钉告警
莎拉拉吗酷奇的博客
03-08 595
logstash filebeat 实现error日志发送钉钉机器人
关闭钉钉烦人的log打印
大爱猫plus的博客
09-17 2380
  最近在开发钉钉应用中，只要调用了钉钉SDK的东西就会1秒打印烦人的log如下图所示：  严重影响开发体验，于是百度了一大圈没没有找到靠谱的解决方案，后面翻看钉钉开发文档才找到这句： 官方文档中示例是log4j的配置，但是本人用的是springboot+logback于是修改logback文件为： 完美解决问题，留给各位被钉钉SDK恶心的伙伴们参考。。。...
python3实现zabbix告警推送钉钉的示例
09-19
在这个场景中，我们将讨论如何利用Python3来实现Zabbix告警推送至钉钉的工作流程。 首先，你需要在Zabbix环境中配置告警脚本。这个示例中，脚本是用Python3编写的，名为`alert_for_zabbix_by_dingding.py`，它的...
Zabbix 配置钉钉告警功能的实现代码
01-09
当系统出现异常时，及时的通知机制至关重要，而钉钉作为一款企业级通讯工具，提供了集成第三方服务的Webhook功能，使得Zabbix能够通过钉钉发送告警通知。本文将详细介绍如何配置Zabbix以实现通过钉钉发送告警信息。 ...
通过shell脚本+钉钉告警实现oracle数据库空间告警
07-06
oracle数据库空间告警：通过shell脚本+钉钉告警实现，100行代码。配合定时任务方便快捷，不需要臃肿的客户端。完全适用小公司的监控告警。没必要使用zabbix等。
zabbix钉钉告警.zip
03-11
《Zabbix监控与钉钉告警的Python实现详解》 在IT运维中，实时监控系统状态并及时发出告警是确保服务稳定运行的关键步骤。Zabbix作为一款强大的开源监控工具，能够有效地监控网络设备、服务器性能等各类指标。而钉钉...
ELK+zabbix+ding talk对日志实时监控报警
qq_55343342的博客
10-26 1350
Kibana：Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析，并且以统计图标的形式展示。Elasticsearch：Elasticsearch是一个高度可扩展的全文搜索和分析引擎，能够对大容量的数据进行接近实时的存储、搜索和分析操作。、logstash与Kibana开源软件的集合，对外作为一个日志管理系统的开源方案。它可以进行日志搜索、分析与可视化展示。Logstash：Logstash是一个开源的用于收集、分析和存储日志的工具。
ELK 日志采集监控报警系统搭建
刘李404not_found的博客
09-10 2876
文章目录一、系统选型1.1 Filebeat1.2 Logstash1.3 ElasticSearch1.4 Kibana二、软件版本三、服务器规划四、安装步骤4.1 ElasticSearch4.2 Logstash4.3 Filebeat4.4 Kibana五、接入测试5.1 Logstash配置5.2 Filebeat配置5.3 kibana配置六、日志报警 一、系统选型 Elastic 公司有一套免费开源的日志采集系统（ELK），所以我选择拿来即用。 日志流： 日志文件→FileBeat→Logst
ELKF日志学习(十一)Logstash实现钉钉告警(莫当真)
IMJCW的博客
01-08 607
前言 本来不想写这篇文章的，奈何有人崇尚这个，顺带介绍一下，扩展一下思路。 代码仓库 talk-lucky/elkf-study 弊端 比如：当 499(HTTP 状态码) 在半小时内出现了 50 次，需要实现告警。 这种情况就不能自定义了，只能说，出现 499 就告警，这个很傻。 麻烦一点的解决方案 就是统计后，写入某一个日志文件，然后再根据来源来分辨是否发送告警。 好像有点傻… 毕竟，都已经统计了，直接告警就行，还要写日志，再通过 Logstash 发送告警，有点冗余。 至于怎么统计，好像有个 KSQL
Zabbix通过与微信、钉钉整合实现实时告警
diyuan8262的专栏
08-31 757
abbix可以通过多种方式把告警信息发送到指定人，常用的有邮件，短信报警方式，但是越来越多的企业开始使用zabbix结合微信、钉钉作为主要的告警方式，这样可以及时有效的把告警信息推送到接收人，方便告警的及时处理。 一、Zabbix整合微信实现实时告警 1.1、微信企业号申请 要实现将告警信息发送到微信，需要申请一个企业微信号，当然个人也可以申请，登录http://work....
Logstash——使用throttle过滤器向钉钉发送预警消息
大风的博客
05-21 1967
之前介绍过logstash的过滤器中有一种throttle过滤器，他可以设置一种规则来进行流量控制，当流量超过预设值时就会为后续的消息添加指定的tag。可以通过使用此过滤器结合阿里钉钉机器人实现发送警报信息到钉钉聊天中。 钉钉机器人的配置 关于钉钉机器人的配置可以查看：钉钉开放平台——机器人开发——自定义机器人开发 logstash配置 数据输入的配置 input { redis { key => "logstash-dingtalk" host => "localhost" pa
【Logstash】日志处理-Logstash的使用
上官玺的博客
10-07 4048
日志可以协助我们的调试和开发。在开发中尽量使用日志的方式来调试，是我们推荐的做法。尽量避免使用System.out.println. 因为很多时候我们调试完毕都要进行删除调试代码。留下会给程序增加运行时间。而日志可以很方便的控制级别就可以控制是否输入，而支持存储的形态很多。比如数据库，文件等。所以日志是我们开发中必不可少的一环。如果级别是：debug ，debug和 info以及error都会输出如果级别是：info ，那么只会打印初：info和error。
logstasg zabbix插件详解
wfs
06-28 4428
Logstash错误日志发送到Zabbix并报警 1.安装logstash-output-zabbix logstash-output-zabbix是一个社区维护的插件，它默认不安装,但是它安装起来也很容易，直接在logstash中运行即可： ./bin/logstash-plugin install logstash-output-zabbix 对于内网环境，我们可以将插件打包然...
logstash 监控海量日志并报警
weixin_34202952的博客
05-18 541
logstash轻松过滤海量日志，研究下logstash的其它插件，可以轻松监控日志并报警，爽歪歪了，直接附上脚本监控说明：1、sonp.phpson-server.php这两个URL小于100字节，状态码非200，报警 2、所有状态码非200，报警 3、所有请求超过10S，报警邮件本机配置postfix或者sendmail，监控脚本input{ red...
zabbix监控日志文件
weixin_34253539的博客
03-23 1191
最近开发人员有一个需求，监控java程序的报错日志，如日志中包含“ERROR”关键字的信息，就邮件告警，以下是具体实现方法。 一、创建模板 以上是已经创建好的模板，名为“Template App Java logs” 创建应用集 二、创建监控项 键值示例：log[/app/wutongshu/monitorlog/error.log,ERROR,,,skip,] 说...
zabbix钉钉告警脚本
最新发布
08-04
Zabbix钉钉告警脚本是一种用于在Zabbix监控系统中通过钉钉发送告警通知的脚本。根据引用[1]，为了配置Zabbix钉钉告警脚本，需要进行以下步骤： 1. 为脚本添加执行权限，可以使用以下命令： ``` chown zabbix.zabbix zabbix_ding.py chmod +x zabbix_ding.py ``` 这样可以确保脚本可以被执行。[2] 2. 编辑Zabbix Server的配置文件zabbix_server.conf，设置AlertScriptsPath参数为默认脚本路径。可以使用以下命令进行编辑： ``` vi /etc/zabbix/zabbix_server.conf ``` 在配置文件中找到AlertScriptsPath参数，并将其设置为脚本的路径，例如： ``` AlertScriptsPath=/usr/lib/zabbix/alertscripts ``` 这样Zabbix就能够找到并使用该路径下的脚本。[3] 通过以上步骤，你就可以成功配置Zabbix钉钉告警脚本，并在Zabbix监控系统中使用钉钉发送告警通知了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值