Rsyslog系统日志管理，解决/var/log/message文件过大问题

最新推荐文章于 2024-04-03 11:15:23 发布
最新推荐文章于 2024-04-03 11:15:23 发布
阅读量9.1k 收藏 37
点赞数 24
分类专栏： 排障思路 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42803243/article/details/122802898
版权

目录

Rsyslog系统日志管理

一、常见的系统日志

二、日志管理程序

三、日志级别

四、日志配置

五、远程日志管理

六、日志轮转

Rsyslog系统日志管理

课程目标

  • 了解日志的级别与作用
  • 掌握 rsyslog 服务的本地日志和远程日志的管理
  • 能够使用 logrotate 程序根据需求对日志进行轮转

一、常见的系统日志

日志格式：文本日志/二进制日志/数据库日志
默认的相关日志文件：
/var/log/boot.log	系统引导日志，记录开机启动信息
/var/log/dmesg		核心的启动日志
/var/log/message	系统的日志文件
/var/log/maillog	邮件服务的日志
/var/log/xferlog	ftp服务的日志
/var/log/secure		网络连接及系统登录的安全信息
/var/log/cron		定时任务的日志
/var/log/wtmp		记录所有的登入和登出	last -f 查看
/var/log/btmp		记录失败的登入尝试

二、日志管理程序

  • 在RHEL6中，syslogd已经被rsyslog取代，它可以将日志写入数据库，并可以利用模板和插件控制输入输出。
  • rsyslog程序管理本地和远程日志
    • 安装软件
    • 根据需求修改配置文件
    • 启动服务
    • 测试验证

三、日志级别

# man syslog
日志信息分为以下级别，从上到下级别一次降低
	none	none不是一个等级，它表示不记录服务的所有信息
0 	emerg	系统不可用
1	alert	特别留意的报警信息
2	crit	非常严重的状况
3	err		错误信息	
4	warning	警告信息
5	notice	稍微需要注意的信息
6	info	正常信息
7	debug	调试信息，开发人员使用

四、日志配置

[root@server ~]# rpm -q rsyslog
rsyslog-5.8.10-8.el6.x86_64
[root@server ~]# rpm -ql rsyslog
/etc/logrotate.d/syslog
/etc/pki/rsyslog	
/etc/rc.d/init.d/rsyslog		//启动脚本
/etc/rsyslog.conf		//主配置文件
/etc/rsyslog.d			//子配置文件
/etc/sysconfig/rsyslog
/sbin/rsyslogd
/usr/share/man/man5/rsyslog.conf.5.gz
/usr/share/man/man8/rsyslogd.8.gz

[root@server ~]# grep -v ^# /etc/rsyslog.conf 
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.*                                              /var/log/secure

mail.*                                                  -/var/log/maillog


cron.*                                                  /var/log/cron

*.emerg                                                 *

uucp,news.crit                                          /var/log/spooler

local7.*                                                /var/log/boot.log

$template SpiceTmpl,"%TIMESTAMP%.%TIMESTAMP:::date-subseconds% %syslogtag% %syslogseverity-text%:%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"

:programname, startswith, "spice-vdagent"	/var/log/spice-vdagent.log;SpiceTmpl


1.日志定义相关符号
配置文件中常见的表示符合
.	用来分隔服务和级别
*	任何服务，或者任何级别
= 	有等号表示等于某一级别，没有等号表示大于或者等于某一级别
！	排除操作，前面有相同服务的表达式，这个操作才有意义
		代表从前面表达式所包含的内容中排除某些内容
;	用于分隔不同的	服务，级别，组合
,	用于分隔不同服务
-   用于指定目标文件时，代表异步写入

举例说明
mail.=info
mail.info		mail服务大于等于info级别的日志
mail.info;cron.=info	/var/log/test.log
mail,cron.err
cron.=warning
mail,cron.info

cron.info;cron.!=err	012456
0123456		0124567
cron.info;cron.!err		456
0123456		4567

特别说明：
 The facility is one of the following keywords: auth,
       authpriv, cron, daemon, kern, lpr, mail, mark, news,
       security  (same  as  auth),  syslog,  user, uucp and
       local0 through local7.（设备载体）
log facility 设备	设施：用来记录一种类型日志的日志设备

daemon
auth
authpriv
user
mail
lpr
news
uucp
ftp
local7

本地日志管理ssh

 [root@server ~]# man sshd_config
 SyslogFacility
         Gives the facility code that is used when logging
         messages from sshd(8).  The possible values are: DAE-
         MON, USER, AUTH, AUTHPRIV, LOCAL0, LOCAL1, LOCAL2,
         LOCAL3, LOCAL4, LOCAL5, LOCAL6, LOCAL7.  The default
         is AUTH.
  1. 更改ssh服务的默认日志记录载体
  2. 通过rsyslog程序去管理来自指定设备载体的日志记录到指定的文件（修改/etc/rsyslog.conf）
  3. 测试验证
1.修改ssh服务配置文件
[root@server ~]# cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak
[root@server ~]# vim /etc/ssh/sshd_config 
SyslogFacility LOCAL6
2.重启服务
[root@server ~]# service sshd restart
Stopping sshd:                                             [  OK  ]
Starting sshd:                                             [  OK  ]
3.将来自LOCAL6设备载体日志记录指定位置（rsyslog）
[root@server ~]# vim /etc/rsyslog.conf
local6.*                                                /var/log/ssh
4.重启rsyslog服务
[root@server ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
5.客户端测试
[root@client ~]# ssh 10.1.1.2
Last login: Fri Apr 26 12:27:33 2019 from 10.1.1.1
[root@server log]# ll ssh
-rw------- 1 root root 0 Apr 26 13:40 ssh
[root@server log]# tail -f ssh
Apr 26 13:42:09 server sshd[2447]: Accepted publickey for root from 10.1.1.3 port 35951 ssh2
Apr 26 13:44:10 server sshd[2447]: Received disconnect from 10.1.1.3: 11: disconnected by user
此时进行ssh访问，日志会在local6和/var/log/messages里都出现

如果不想记录到/messages，可修改/etc/rsyslog.conf,添加local6.none，则不再显示ssh的日志
*.info;mail.none;authpriv.none;cron.none;local6.none              /var/log/messages

五、远程日志管理

目前：把多台服务器的日志远程记录到其中一台日志服务器集中化管理，方便对其统一分析和管理

环境：

log-server：10.1.1.2

应用服务器：10.1.1.3

ssh服务服务——>其他人远程访问该应用服务器产生ssh服务日志——>远程记录到log-server上

client：10.1.1.4

ssh：10.1.1.3——>日志记录10.1.1.2

需求：把web服务器上的ssh服务日志，远程记录到log-server上

思路：

web应用服务器上操作

  1. 将web服务器上的ssh服务的日志单独记录
    • 指定ssh服务的设备载体
    • 重启服务
  2. 将来自于ssh服务的日志设备载体上的日志远程发送到log-server上

以下操作在log-server上操作

  1. 通过修改配置文件，打开日志传输端口
    • 加载相应模块 tcp | udp
    • 打开接收端口 默认514端口
  2. 启动服务后日志默认会保存到/var/log/messages

步骤：

以下操作在log-service（10.1.1.2）服务上完成
1.加载相应模块打开接收端口（可以选择udp、tcp都打开）
[root@log-server ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
2.重启服务
service rsyslog restart
[root@log-server ~]# netstat -nltup |grep 514		//验证端口是否打开
tcp        0      0 0.0.0.0:514                 0.0.0.0:*                   LISTEN      2822/rsyslogd       
tcp        0      0 :::514                      :::*                        LISTEN      2822/rsyslogd       
udp        0      0 0.0.0.0:514                 0.0.0.0:*                               2822/rsyslogd       
udp        0      0 :::514                      :::*                                    2822/rsyslogd

以下操作在应用服务器完成（10.1.1.3）：
1.指定ssh服务的日志文件的设备载体
[root@ssh-server ~]# vim /etc/ssh/sshd_config 
SyslogFacility LOCAL0
2.重启ssh服务
[root@ssh-server ~]# service sshd restart
3.修改/etc/rsyslog.conf来指定ssh服务的日志发送到远端去
[root@ssh-server ~]# vim /etc/rsyslog.conf 

# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514

local0.*        @10.1.1.2:514	//一个@表示udp，两个@表示tcp  
最关键的一步，将日志远程发送给10.1.1.2


4.重启rsyslog服务
[root@ssh-server ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

测试验证（client：10.1.1.4）
[root@client ~]# ssh 10.1.1.3
The authenticity of host '10.1.1.3 (10.1.1.3)' can't be established.
RSA key fingerprint is a5:98:06:58:84:35:d3:f4:4c:f8:43:a1:a5:12:f5:8e.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.1.1.3' (RSA) to the list of known hosts.
root@10.1.1.3's password: 
Last login: Fri Apr 26 14:46:31 2019 from 10.1.1.1

[root@log-server ~]# tail -f /var/log/messages
Apr 26 15:12:30 ssh-server sshd[2858]: Accepted password for root from 10.1.1.4 port 58561 ssh2
[root@ssh-server ~]# tail -f /var/log/messages
Apr 26 15:12:30 ssh-server sshd[2858]: Accepted password for root from 10.1.1.4 port 58561 ssh2
（不想记录就修改/etc/rsyslog.conf,将local0.none加在/var/log/messages那行里）

注意：selinux和防火墙，还有udp和tcp 端口514是否打开

六、日志轮转

日志轮循（轮转）：日志轮转，切割，备份，归档

  • 为什么要日志轮转？
  1. 避免日志过大占满/var/log的文件系统
  2. 方便日志查看
  3. 将丢弃系统中最旧的日志文件，以节省空间
  4. 日志轮转的程序是logrotate
  5. logrotate本身不是系统守护进程，它是通过计划crond每天执行
  • 如何进行日志轮转？
    • 了解相关配置文件
[root@log-server ~]# rpm -ql logrotate
/etc/cron.daily/logrotate		周期性计划任务
/etc/logrotate.conf				配置文件
/etc/logrotate.d				子配置文件存放路径
/usr/sbin/logrotate
/usr/share/doc/logrotate-3.7.8
/usr/share/doc/logrotate-3.7.8/CHANGES
/usr/share/doc/logrotate-3.7.8/COPYING
/usr/share/man/man5/logrotate.conf.5.gz
/usr/share/man/man8/logrotate.8.gz
/var/lib/logrotate.status

[root@log-server ~]# cat /etc/logrotate.conf
# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs	保留4周备份日志
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file		日期作为后缀给旧文件重命名
dateext

# uncomment this if you want your log files compressed
#compress

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d	加载外部目录

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp		
	minsize 1M
    rotate 1	保留1份日志文件，每一个月备份一次日志文件
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

常见的一些参数：
daily		指定转储周期为每天
monthly		指定转储周期为每月
weekly		每周轮转一次
rotate 4	同一个文件最多轮转4次，4次之后就删除该文件
create 0664 root uttmp	轮转之后创建新文件，权限是0664，属于root用户和utmp组
dateext		用日期来做轮转之后的文件的后缀名
compress	用gzip对轮转后的日志进行压缩
minsize	30K	文件必须大于30k，且周期到了，才会轮转
size 30K	文件大于30k才会轮转，不论周期是否已到
missingok	如果日志文件不存在，不报错
notifempty	如果日志文件是空的，不轮转
delaycompress	下一次轮转的时候才压缩
sharedscripts	不管有多少个文件待轮转，prerotate和postrotate代码只执行一次
prerotate		如果符合轮转的条件，则在轮转之前执行prerotate和endscript之间的shell代码
postrotate		轮转完成后执行postrotate和endscript之间的shell代码

[root@server~]# cat /etc/logrotate.d/syslog 
这个子配置文件，没有指定的参数都会以默认方式轮转
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    sharedscripts	不管有多少个文件待轮转，prerotate和postrotate代码只执行一次
    postrotate		转换完后执行postrotate和endscirpt之间的shell代码
	/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
	轮转后对rsyslog的pid进行刷新（但pid其实不变）
    endscript
}
思考：为什么轮转后需要对rsyslog的pid进行刷新？
ll -i 查看文件的inode	
-HUP 平滑重启

不以时间为后缀进行轮转，在/etc/logrotate.conf/ nodateext

清空环境

重启服务

结论 

后刷新pid的话，logger -t "呵呵" "再见！"会写入旧文件（messages.1）里面

将这句话放在/bin/kill这条命令后面，会写入新文件里

最新的文件是messages，第一次强制轮转后的旧文件是messages.1，cat messages.1会看到logger -t "呵呵" "再见！"，到第二次就成messages.2。而第二次轮转后的messages.1成了第一次轮转后的messages的老文件。（看时间区别）

一只晨兴夜不得寐的运维人
关注
  • 24
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Ubuntu系统日志配置 /var/log/messages的方法
01-10
1. 问题描述 今天需要查看系统的日志文件，但却没有找到/var/log/messages这个文件。网上搜素资料，说是要配置/etc/syslog.conf。syslog采用可配置的、统一的系统登记程序，随时从系统各处接受log请求，然后根据/etc/syslog.conf中的预先设定把log信息写入相应文件中、邮寄给特 定用户或者直接以消息的方式发往控制台。 好吧，问题又来了。系统中依然没有/etc/syslog.conf，经过一番搜素，最后得到的结论是：在Ubuntu下对应的应该是/etc/rsyslog.conf和rsyslogd。 2. 解决方案 关于syslog.conf文件和sys
分割系统日志，解决syslog文件过大的问题
qq_45445740的博客
01-07 1009
随着系统使用时间越长，系统日志syslog也会越来越大，不但占用硬盘空间，且拷贝日志也需要较长时间，需要对系统日志进行分割以减小体积。
【linux学习15】日志管理rsyslog、logrotate介绍
最新发布
葫芦娃y的博客
04-03 396
【linux学习15】日志管理rsyslog、logrotate介绍
Linux 日志管理
01-09
rsyslog 系统日志管理 一、处理日志的进程 第一类： rsyslogd： 系统专职日志程序。 处理绝大部分日志记录， 系统操作有关的信息，如登录信息，程序启动关闭信息，错误信息 第二类： httpd/nginx/mysql: 各类应用程序，可以以自己的方式记录日志.（了解） 讲解对应程序时会逐步介绍 二、常见的日志文件(系统、进程、应用程序) # tail -10 /var/log/messages //系统主日志文件 # tail -f /var/log/messages //动态查看日志文件的尾部 # tailf /var/log/secure //认证、安全 # tail
入门linux基础之日志管理篇
01-09
第一类日志：rsyslogd：系统专职日志程序，处理绝大部分日志记录，系统操作有关的信息，如登录信息，程序启动关闭信息，错误信息。 第二类日志：httpd/nginx/mysql ：各类应用程序，可以以自己的方式记录日志。 查看rsyslogd程序进程 ps aux | grep rsyslogd 日志文件(messages,httpd/access.log)，存放日志的目录 /var/log,日志配置文件 /etc/rsyslog.conf。 tail -10 /var/log/messages //系统主日志文件 tail -f /var/log/messages //动态系统主日志文
linux基础之日志管理
01-20
日志管理 分为两类 1.rsyslog 系统日志管理 2.logrotate 日志轮转 一 . 处理日志的进程 rsyslogd：系统专职日志程序。处理绝大部分日志记录，系统操作有关的信息，如登陆信息，程序启动关闭信息，错误信息 二 . 常见的日志文件 tail -10 /var/log/messages //系统主日志文件 tail -f /var/log/messages //动态查看日志文件的尾部 tailf /var/log/secure //认证、安全 tail /var/log/yum.log //yum tail /var/log/maillog
/var/log/messages日志分析
热门推荐
u011065164的博客
07-12 2万+
messages 日志是核心系统日志文件。它包含了系统启动时的引导消息，以及系统运行时的其他状态消息。IO 错误、网络错误和其他系统错误都会记录到这个文件中。其他信息，比如某个人的身份切换为 root，也在这里列出。如果服务正在运行，比如 DHCP 服务器，您可以在 messages 文件中观察它的活动。通常，/var/log/messages 是您在做故障诊断时首先要查看的文件。
Rsyslog系统日志管理
anjinzong3965的博客
06-14 625
目录 Rsyslog系统日志管理 一、常见的系统日志 二、日志管理程序 三、日志级别 四、日志配置 五、远程日志管理 六、日志轮转 Rsyslog系统日志管理 课程目标 了解日志的级别与作用...
/var/log/message 归档探究
Qinng的博客
04-11 6988
背景 由于项目要收集/var/log/messages的日志到es中，发现messages日志按天切割，但归档的时间却不一直，于是乎查了点资料探究下 介绍 /var/log/messages是由journald生成的，流程如下 systemd --> systemd-journald --> ram DB --> rsyslog -> /var/log 当 systemd ...
Linux日志分析
Mo_nor的博客
07-06 1305
var/log/messages 这个日志文件包含了所有系统以及服务，包括第三方（必须要配置在systemd的文件里面，有他的运行配置文件）；主要是针对第三方服务，不是系统自带的，由程序员自定义的软件或者第三方开放的一些软件，运行系统上，一些日志文件是第三方自带的，不需要人工配置，服务本身没有记录日志的功能，需要人工配置日志文件。因为这些第三方服务，配置在系统服务的目录中，所以能将（开、关、重启这些操作记录）记录在系统日志中；messages，里面包含的第三方服务，只有运行日志，不包括业务访问日志；
linux文件系统与日志分析
weixin_48271370的博客
08-11 905
分析日志文件
【rsyslog系列】rsyslog远程接收日志服务器配置文件之UDP/TCP协议
11-17
搭建rsyslog远程接收日志服务器时，要想要服务器生效，必须按照实际使用场景配置rsyslog的配置文件，该配置文件资源应用于rsyslog v8版本的UDP/TCP协议传输场景。由于rsyslog v8版本对于v5版本有一些格式上的更新，所以需要在使用的时候注意，以防按照旧配置格式配置时出现无法生效的问题，而又没有解决思路，多尝试新配置格式的应用。
Linux_如何处理系统日志和系统轮转
01-09
知道了在Linux系统中如何进行rsyslog 系统日志管理和 logrotate日志轮转。 拼搏到无能为力，坚持到感动自己。 简述： 1.处理日志程序 a。rsyslog b。其他不同的应用 2.常见的日志文件 ar/log/messages ar/log/...
/var/log/messages: 没有那个文件或目录
Jackie Huang
04-10 7293
ps: 如果有任何问题可以评论留言，我看到后会及时解答，评论或关注，您的鼓励是我分享的最大动力 转载请注明出处：https://blog.csdn.net/qq_40938301/article/details/89175623 问题：使用Ubuntu系统，当需要查看系统日志文件（/var/log/messages）时 提示说没有这个文件或目录 ...
系统日志：/var/log/messages
weixin_30484247的博客
05-08 2895
/var/log/messages 存放的是系统的日志信息，它记录了各种事件，基本上什么应用都能往里写日志，在做故障诊断时可以首先查看该文件内容 [root@test_192.168.0.110 ~]# tail /var/log/messages Dec 18 23:27:07 localhost kernel: [33100840.027421] possible SYN fl...
linux日志
weixin_43135696的博客
07-10 359
一些数据库如MySQL则在/var/lib下，用户未读的邮件的默认存放地点为/var/spool/mail。
应急响应排查Linux中的secure和message日志如何排查
weixin_46356409的博客
01-22 1101
在Linux系统中，/var/log/secure 和 /var/log/messages 是两个非常重要的日志文件，用于记录系统和安全相关的事件。如果你正在进行应急响应或排查潜在的安全问题，这两个日志文件是很好的起点。
linux下的系统日志管理
lyy962464的博客
07-28 656
一、系统日志管理 1.rsyslog    ##此服务时用来采集系统日志的，他不产生日志，只是起到采集作用 2.rsyslog的管理 /var/log/messages                 ##服务信息日志 /var/log/secure                       ##系统登陆日志 /var/log/cron                        ...
/VAR/LOG/message.o
01-09
根据提供的引用内容，/var/log/messages是由journald生成的日志文件。它的生成流程如下：systemd -> systemd-journald -> RAM DB -> rsyslog -> /var/log。当systemd启动后，systemd-journald也会立即启动，并将日志存入RAM中。当rsyslog启动后，它会读取该RAM并完成筛选分类，然后将日志写入目录/var/log。 请注意，/var/log/messages是一个特定的日志文件，用于存储系统的重要事件和错误信息。它包含了系统的各种日志记录，如内核消息、系统启动信息、服务启动和停止信息等。 如果您想查看/var/log/messages文件的内容，可以使用以下命令： ```shell cat /var/log/messages ``` 请注意，您可能需要以root用户或具有足够权限的用户身份运行此命令才能访问/var/log/messages文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只晨兴夜不得寐的运维人

你的打赏，是我今晚餐桌上的鸡腿

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值