rsyslog 管理与配置

一：日志的重要性

日志分类：系统日志，进程日志，应用程序日志

记录日志的用处： 排错，追溯事件，统计流量，审计安全行为

rsyslogd：只负责绝大部分日志记录，和系统操作有关，安全，认证，计划任务…

处理分析日志：

1.少量日志使用vim cat tail grep awk这些文档处理程序查看和检索

2.大量日志可以用splunk、elk

日志存放位置: 存放本地 /var/log

日志服务启动:systemctl start rsyslog

日志配置文件:/etc/rsyslog.conf

[root@newrain ~]# ps aux |grep rsyslogd |grep -v grep root       

686  0.0  0.0 219752  8436 ?        Ssl  16:35   0:00 /usr/sbin/rsyslogd -n 

二：rsyslog日志管理

常见的日志文件(系统、进程、应用程序)
# ls /var/log/
# tail /var/log/messages		      //系统主日志文件
# tail -f /var/log/messages		      //动态查看日志文件的尾部
# tail -f /var/log/secure		            //认证、安全
# tail /var/log/cron			            //crond、at进程产生的日志
# tail /var/log/yum.log                   //yum

二进制日志：
# w					                             //当前登录的用户即: /var/log/wtmp日志
# last					                            //最近登录的用户 /var/log/btmp
# lastlog					                        //所有用户的登录情况 /var/log/lastlog

进程以自己的方式去记录日志
# tail /var/log/mysqld.log               //MySQL进程自己记录的日志
# tail /var/log/httpd/access_log         //Apache自己记录的日志
# tail /var/log/xferlog                  //和访问FTP服务器相关

案例1: 统计登录失败top 2 
# grep 'Fail' /var/log/secure |awk '{print $11}' |sort |uniq -c|sort -n -r |head -2
    366 140.205.225.186
    335 140.205.201.44

案例2: 统计登录成功 
# grep 'Accepted' /var/log/secure*

三: mysql存放rsyslog日志

yum install -y mariadb mariadb-server
yum install -y rsyslog-mysql  # 安装驱动
rpm -ql rsyslog-mysql # 找到sql文件

# 将sql文件导入到数据库中
mysql> GRANT ALL ON Syslog.* TO 'rsyslog'@'127.0.0.1' IDENTIFIED BY 'rsyspass';
mysql> GRANT ALL ON Syslog.* TO 'rsyslog'@'localhost' IDENTIFIED BY 'rsyspass';
mysql> FLUSH PRICVILEGES

# 配置rsyslog加载ommysql模块
#### MODULES ####
$ModLoad ommysql

# 配置RULES，将所期望的日志信息记录于mysql中
# 格式为 
facility.priority :ommysql:DBHOST,DB,DBUSER,DBUSERPASS
*.*:ommysql:127.0.0.1,Syslog,rsyslog,rsyspass

systemctl restart mariadb
systemctl restart rsyslog

四：集中式日志管理

自定义日志
自己定义日志的名字和位置
查看日志文件是否起来：systemctl status rsyslog

#vim /etc/rsyslog.conf -----> 日志的主配置文件  include 包含
*.info;mail.none;authpriv.none;cron.none      /var/log/messages 日志定义
      .之前叫做日志对象，要给谁记录日志
      .之后日志级别:级别越低，信息越多 
	  日志文件:存储日志的文件
日志级别	
        lpr： 打印相关的日志
        auth：认证相关的日志
        user：用户相关的日志
        cron：计划任务相关的日志
        kern：内核相关的日志
        mail：邮件相关的日志
        mark：标记相关的日志
        news：新闻相关的日志
        uucp：文件copy相关的日志
        daemon：系统服务相关的日志
        authpri: 授权相关的日志
        security:安全相关的日志	前的级别低，越详细，低的包含高的日志级别
debug：最低的，一般不用
info：安装信息，警告信息，错误信息   
notice：相当与提示
warn/warning：警告，错误                             
error/err：错误，严重错误 
alert：告警，表示已经出现问题
emerg：恐慌级别

eg：将内核日志文件自定义到/var/log/kern.log
touch /var/log/kern.log
vim /etc/rsyslog.conf ---->kern.info /var/log/kern.log    
查看都有哪些日志对象和日志级别
	#man 5 rsyslog.conf
local0 through local7：自己定义的日志文件
======================================

例：
	*.* 				/var/log/mylog
	kern.err 			/var/log/kernel.log
	*.info;mail.none    /var/log/big.log
	mail.info			/var/log/mail.log
    cron.info;cron.!err /var/log/newcron

======================================

local0-local7日志设备的使用:   ssh的配置文件：/etc/ssh/sshd_config
例：定义sshd日志：
    1.修改sshd服务主配置文件：
    将/etc/ssh/sshd_config 的#SyslogFacility AUTHPRIV改为 SyslogFacility local2
    SyslogFacility local5   //设置ssh的日志定义由local5设备来记录
    2.在rsyslog的主配置文件里加上
     local5.info /var/log/ssh
    3.重启服务

五：日志切割

logrotate日志轮转(切割)
========================================================
注：针对任何日志文件

logrotate (轮转，日志切割)
1. 如果没有日志轮转，日志文件会越来越大，最后导致日志打不开或者是打开时间过长
2. 将丢弃系统中最旧的日志文件，以节省空间
3. logrotate本身不是系统进程，即日志的轮转不会自动执行，它是通过写到相应的配置文件中使用计划任务crond每天执行 
4.对日志的切割，你只需要给他定义一个规则

[root@newrain ~]# rpm -qa |grep logrotate
logrotate-3.7.8-16.el6.x86_64

logrotate 配置文件：
/etc/logrotate.conf (决定每个日志文件如何轮转)
/etc/logrotate.d/*

主配置文件
[root@newrain ~]# vim /etc/logrotate.conf	
=========全局设置==========
weekly     			                 //轮转的周期，一周轮转
rotate 4				           //保留4份
create				                 //轮转后创建新文件
dateext                           		//使用日期作为后缀
#compress			                	//是否压缩
# RPM packages drop log rotation information into this directory  
# rpm安装的程序，按照下面目录规则进行轮转
include /etc/logrotate.d  		//包含该目录下的文件

# no packages own wtmp and btmp -- we'll rotate them here  
# 对于wtmp和btmp这样无主的日志，按照下面配置进行轮转
/var/log/wtmp {			      //对该日志文件设置轮转的方法
    monthly			                	//一月轮转一次
    minsize 1M			            //最小达到1M才轮转，即到了规定的时间未达到大小不会轮转
    create 0664 root utmp		//轮转后创建新文件，并设置权限属主和属组
    rotate 1			                  //保留一份
}

/var/log/btmp {
    missingok			            //丢失不提示
    monthly			                	//每月轮转一次
    create 0600 root utmp		//轮转后创建新文件，并设置权限
    rotate 1			                  //保留一份
}

[root@newrain ~]# vim /etc/logrotate.d/yum  	//原有的设置，没有说保存几份，看上面的全局设置
/var/log/yum.log {		        	//yum日志文件
    missingok			            //丢失不提示
    notifempty			            //如果为空，不轮转
    size 30k			                	//达到30k就轮转
    yearly				            //达到一年就轮转一次，两者满足一个就轮转
    create 0600 root root	  	//创建新文件
}

[root@newrain ~]# ls /etc/logrotate.d/
chrony  ppp    wpa_supplicant   syslog  yum

日志的轮转规则文件是在安装rpm包时就自动提供的，无需人为手动编写
只有自己创建的日志文件才需要自己编写日志轮转规则文件
[root@newrain ~]# yum -y install httpd
[root@newrain ~]# ls /etc/logrotate.d/
chrony  ppp    wpa_supplicant   syslog  yum httpd

[root@newrain logrotate.d]# yum -y install vsftpd
[root@newrain logrotate.d]# ls
chrony  httpd  ppp  syslog  vsftpd  wpa_supplicant  yum

说明：
当切割之后创建新文件，新文件有新的inode number 
如果希望进程如rsyslog、nginx进程会把新的日志写入新日志文件中，应该在日志切割后，告诉一下rsyslog、nginx进程reload 或 信号(1 or HUP)