使用ELK收集网络设备日志的案例_elk收集华为交换机日志(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

检查是否安装了rsyslog软件

CentOS7默认会安装rsyslog

[root@ZABBIX-Server ~]# rpm -qa |grep rsyslog
rsyslog-8.24.0-16.el7.x86_64

编辑rsyslog配置文件

vim /etc/rsyslog.conf #按如下进行更改

[root@ZABBIX-Server mnt]# egrep -v “#|^$" /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
.info;mail.none;authpriv.none;cron.none;local6.none;local5.none;local4.none /var/log/messages
$template h3c,“/mnt/h3c/%FROMHOST-IP%.log”
local6. ?h3c
$template huawei,”/mnt/huawei/%FROMHOST-IP%.log"
local5.* ?huawei
$template cisco,“/mnt/cisco/%FROMHOST-IP%.log”
local4.* ?cisco

$ModLoad imudp # immark是模块名，支持tcp协议
$ModLoad imudp # imupd是模块名，支持udp协议
$InputTCPServerRun 514
$UDPServerRun 514 #允许514端口接收使用UDP和TCP协议转发过来的日志

注意：

*.info;mail.none;authpriv.none;cron.none;local6.none;local5.none;local4.none /var/log/messages
默认没有添加local6.none;local5.none;local4.none 命令，网络日志在写入对应的文件的同时会写入/var/log/messages 中

检查rsyslog服务

重启rsyslog服务

systemctl restart rsyslog.service

日志存放目录

网络设备将日志指向syslog服务器,注意不同厂商的设备对应的local不同,对应关系如下：

/mnt/huawei — local6
/mnt/h3c — local5
/mnt/cisco — local4

网络设备配置

Huawei：info-center loghost source Vlanif99
info-center loghost 192.168.99.50 facility local5

H3C:
info-center loghost source Vlan-interface99
info-center loghost 192.168.99.50 facility local6

CISCO:
(config)#logging on
(config)#logging 192.168.99.50
(config)#logging facility local4
(config)#logging source-interface e0

Ruijie：logging buffered warnings
logging source interface VLAN 99
logging facility local6
logging server 192.168.99.50

注意：192.168.99.50为rsyslog服务器的IP

编辑filebeat配置文件

收集rsyslog下的日志文件到logstash

[root@ZABBIX-Server mnt]# egrep -v “^#|$” /etc/filebeat/filebeat.yml
filebeat.inputs:

• type: log
  enabled: true
  paths:
• /mnt/huawei/*
  tags: [“huawei”]
  include_lines: [‘Failed’,‘failed’,‘error’,‘ERROR’,‘\bDOWN\b’,‘\bdown\b’,‘\bUP\b’,‘\bup\b’]
  drop_fields:
  fields: [“beat”,“input_type”,“source”,“offset”,“prospector”]
• type: log
  paths:
• /mnt/h3c/*
  tags: [“h3c”]
  include_lines: [‘Failed’,‘failed’,‘error’,‘ERROR’,‘\bDOWN\b’,‘\bdown\b’,‘\bUP\b’,‘\bup\b’]
  drop_fields:
  fields: [“beat”,“input_type”,“source”,“offset”,“prospector”]
  setup.template.settings:
  index.number_of_shards: 3
  output.logstash:
  hosts: [“192.168.99.185:5044”]
  processors:
• add_host_metadata: ~
• add_cloud_metadata: ~

编辑logstash配置文件

对filebeat传来的日志根据标签不同分别进行处理，将处理完成的日志数据传到es上存储，并在kibana上做进一步的可视化展示

[root@elk-node1 ~]# egrep -v “^#|$” /etc/logstash/conf.d/networklog.conf
input {
beats {
port => 5044
}

}
filter {
if “huawei” in [tags] {
grok{
match => {“message” => “%{SYSLOGTIMESTAMP:time} %{DATA:hostname} %{GREEDYDATA:info}”}

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-m6qx7qST-1713459856600)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！