ELK stack实战之结合rsyslog分析系统日志(auth.log)

最新推荐文章于 2024-07-10 10:16:49 发布

搜索与推荐Wiki

最新推荐文章于 2024-07-10 10:16:49 发布

阅读量9.3k

点赞数 1

分类专栏： # ELKStack 基础与实战文章标签： elk rsyslog filebeat

本文链接：https://blog.csdn.net/Gamer_gyt/article/details/52701067

版权

ELKStack 基础与实战专栏收录该内容

18 篇文章 51 订阅

订阅专栏

转载请注明出处：http://blog.csdn.net/gamer_gyt
博主微博：http://weibo.com/234654758
Github：https://github.com/thinkgamer

写在前边的话

在之前的文章中我么谈到了ELK stack的部署和简单的小demo，然后我们又看了elk stack结合filebeat做了一个分析，具体可参考下面的链接：
linux 部署ELK 日志分析系统与简单测试
 ELK stack实战之Filebeat的架构分析、配置解释与示例

本篇文章我们主要谈一下linux操作系统的rsyslog（syslog），然后结合elk stack做一个分析autho.log(linux自己生成的日志)的demo

syslog与rsyslog

syslog

首先需要说明的是syslog是一种协议，广泛用于系统日志，syslog系统日志消息可以记录在本地，也可以发送到接受syslog日志的服务器统一进行存储和处理，也可以解析其中的内容做相应的处理。

    常见的应用场景是网络管理工具、安全管理系统、日志审计系统。
    对于老版本的unix操作系统，默认使用syslog，但是在新版本都已经被rsyslog所替代
    老版本的Linux缺省使用Syslog，其配置大致如下所示：

shell> cat /etc/syslog.conf

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
# kern.* /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages

# The authpriv file has restricted access.
authpriv.* /var/log/secure

# Log all the mail messages in one place.
mail.* -/var/log/maillog

# Log cron stuff
cron.* /var/log/cron

# Everybody gets emergency messages
*.emerg *

# Save news errors of level crit and higher in a special file.
uucp,news.crit /var/log/spooler

# Save boot messages also to boot.log
local7.* /var/log/boot.log

完整的syslog日志中包含产生日志的程序模块（Facility）、严重性（Severity或 Level）、时间、主机名或IP、进程名、进程ID和正文。在Unix类操作系统上，能够按Facility和Severity的组合来决定什么样的日志消息是否需要记录，记录到什么地方，是否需要发送到一个接收syslog的服务器等。由于syslog简单而灵活的特性，syslog不再仅限于 Unix类主机的日志记录，任何需要记录和发送日志的场景，都可能会使用syslog。

这里涉及两个概念：Facility和Severity，中文的意思大致是类型和级别。重点说明两条配置的含义：首先，所有Severity大于等于info的信息都会被保存到「/var/log/messages」中，但是Facility为mail、authpriv、cron的消息例外；其次，所有Facility为mail的消息都会保存到「/var/log/maillog」中，日志文件前面的减号表示的意思是异步写文件。

rsyslog

上边也说了，对于现在的很多发行版都默认采用了rsyslog，rsyslog是syslog的升级版，这里我们看些Facility和Serverity
rsyslog通过Facility概念来定义日志消息的来源，以方便对日志进行分类，facility有以下几种

		kern                     内核消息
		user                     用户级消息
		mail                     邮件系统消息
		datemon                  系统服务消息
		auth                     认证系统消息
		syslog                   日志系统本身消息
		lpr                      打印系统消息
		authpriv                 权限系统消息
		corn                     定时任务消息
		news                     新闻系统消息
		uucp                     uucp系统消息
		ftp                      ftp系统消息

除了日志来源以外，对于同一来源产生的日志消息，还进行了优先级的划分，优先级分为以下几种

        Emergency                系统已经不能使用
        Alert                    必须立即进行处理
        Critical                 严重错误
        Error                    错误
        Warning                  警告
        Notice                   正常信息，但是较为重要
        Informational            正常信息
        Debug                    debug信息

案例：rsyslog+ELK分析auth.log

启动/停止/查看rsyslog的状态

在配置rsyslog的机器上执行即可

sudo service rsyslog start
sudo service rsyslog stop
Sudo service rsyslog status

使用系统的logger命令测试rsyslog是否工作

在配置rsyslog的机器上执行即可

Logger hello world

查看/var/log/message

[master@localhost log]$ sudo tail -n 1 messages
Sep 29 23:37:00 localhost master: hello word

测试rsyslog的性能

使用官方提供的 tcpflood
https://github.com/rsyslog/rsyslog/blob/master/tests/tcpflood.c

rsyslog+elk做日志收集

1、服务器两台

192.168.197.129 配置elk OS：redhat
192.168.197.131 rsyslog客户端 OS：Centos7

2、ELK客户端配置
即129这个服务器
rsyslog.conf

input {
  tcp{
    port => 5514
    type => syslog
  }
  udp{
    port => 5514
    type => syslog
  }
}
output {
  stdout {
    codec=> rubydebug
  }
  elasticsearch {
    hosts => ["192.168.197.129:9200"]
  }
}

启动ELK服务

rsyslog客户端配置

即131这个服务器

sudo vim /etc/rsyslog.conf

找到下边的一段，去掉注释：

# provides UDP syslog reception
# module(load="imudp")
# input(type="imudp" port="5514")

# provides TCP syslog reception
# module(load="imtcp")
# input(type="imtcp" port="5514")

如下：

# provides UDP syslog reception
module(load="imudp")
input(type="imudp" port="5514")

# provides TCP syslog reception
module(load="imtcp")
input(type="imtcp" port="5514")

最后添加一行（elk所在机器的ip和监听的端口）

*.*  @192.168.197.129:5514

重启rsyslog服务

sudo service rsyslog restart

测试

在rsyslog所在客户端执行

logger -p info “hello, remote rsyslog”

部署ELK的服务器终端查看Elasticsearch的输出

这里写图片描述

kibana的web展示界面可以看到

这里写图片描述

当然我们也可以执行一些其他的命令

ssh localhost

输入正确的密码，在终端可以监测到：

这里写图片描述

ssh localhost 输入错误的密码：

这里写图片描述

根据这种情况我们就可以针对登录日志做出相应的分析

这里的logstash中的rsyslog.conf文件也可以这样写

input {
   syslog{
    port => 5514
    type => syslog
  }
}
output {
  stdout {
    codec=> rubydebug
  }
  elasticsearch {
    hosts => ["192.168.197.129:9200"]
  }
}

这个时候在rsyslog的服务器中执行