日志文件
1. 日志的功能
- 用于记录系统,程序运行中发生的各种事件
- 通过阅读日志,有助于诊断和解决系统故障
2. 日志文件的分类
- 内核及系统日志
- 由系统服务rsyslog统一进行管理,日志格式基本相似
- 用户日志
- 记录系统用户登录及退出系统的相关信息
- 程序日志
- 由各种应用程序独立管理的日志文件,记录格式不统一
3. 日志保存位置
- 内核及系统日志由系统服务rsyslog.service 统一管理,主配置文件为/etc/rsyslog.conf
- Linux操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下
4. 常见的一些日志文件
- 内核及公共消息日志:
- /var/log/messages:记录Linux内核消息及各种应用程序的公共日志信息,包括启动,IO错误,网络错误,程序故障等,对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
- 计划任务日志:
- /var/log/cron:记录crond计划任务产生的事件信息
- 系统引导日志:
- /var/log/dmesg:记录Linux系统在引导过程中的各种事件信息
- 邮件系统日志:
- /var/log/maillog:记录进入或发出系统的电子邮件活动
- 用户登录日志:
- /var/log/secure:记录用户认证相关的安全事件信息
- /var/log/lastlog:记录每个用户最近的登录事件。文件为二进制格式
- /var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。文件为二进制格式
- /var/run/btmp:记录失败的、错误的登录尝试及验证事件。文件为二进制格式
5. 日志消息的级别
- Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)
级号 | 消息 | 级别 | 说明 |
---|---|---|---|
0 | EMERG | 紧急 | 会导致主机系统不可用的情况,如系统崩溃 |
1 | ALERT | 警告 | 必须马上采取措施解决的问题,如数据库被破坏 |
2 | CRIT | 严重 | 比较严重的情况,如硬盘错误,可能会阻碍程序的部分功能 |
3 | ERR | 错误 | 运行出现错误,不是非常紧急,需要尽快修复的 |
4 | WARNING | 提醒 | 可能会影响系统功能的事件,需要提醒用户的重要事件,不是错误,如磁盘使用了85%等 |
5 | NOTICE | 注意 | 不会影响系统但值得注意的事件,无需处理 |
6 | INFO | 信息 | 一般信息,正常的系统信息 |
7 | DEBUG | 调试 | 程序或系统调试信息等,包含详细开发的信息,调试程序时使用 |
- | none | - | 没有优先级,不记录任何日志信息 |
子系统名就比如进程名称
如果子系统名称显示为 kernel 是内核级别日志
vim /etc/rsyslog.conf #查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none /var/log/messages
#*.info #.前面的*表示所有设备的info等级及以上的所有等级的信息都写到对应的日志文件里
#mail.none #表示某事件的信息不写到日志文件里( 这里比如是邮件)
设备字段说明
名称 | 说明 |
---|---|
auth | 用户认证时产生的日志 |
authpriv | ssh、ftp等登录信息的验证信息 |
daemon | 一些守护进程产生的日志 |
ftp | FTP产生的日志 |
lpr | 打印相关活动 |
mark | rsyslog服务内部的信息,时间标识 |
news | 网络新闻传输协议(nntp)产生的消息 |
syslog | 系统日志 |
uucp | Unix-to-Unix Copy 两个unix之间的相关通信 |
console | 针对系统控制台的消息 |
cron | 系统执行定时任务产生的日志 |
kern | 系统内核日志 |
loca10~loca17 | 自定义程序使用 |
邮件日志 | |
user | 用户进程 |
举例:
mail.info /var/log/maillog :比指定级别更高的日志级别,包括指定级别自身,保存到/var/log/maillog中
mail.=info /var/log/maillog :明确指定日志级别为info,保存至/var/log/maillog
mail.!info /var/log/maillog :除了指定的日志级别(info)所有日志级别信息,保存至/var/log/maillog
*.info /var/log/maillog :所有facility的info级别,保存至/var/log/maillog
mail.* /var/log/maillog :mail的所有日志级别信息,都保存至/var/log/maillog
mail.notice;news.info /var/log/maillog :mail的notice以上记得日志级别和news的info以上的级别保存至/var/log/maillog
mail,news.crit -/var/log/maillog :mail和news的crit以上的日志级别保存/var/log/maillog中;“-”代表异步模式
6.用户日志分析
保存了用户登录、退出系统等相关信息
- /var/log/lastlog:最近的用户登录事件
- /var/log/wtmp:用户登录、注销及系统开、关机事件
- /var/run/utmp:当前登录的每个用户的详细信息
- /var/log/secure:与用户验证相关的安全性事件
分析工具 - users、who、w、last、lastb
- last命令用于查询成功登录到系统的用户记录
- lastb命令用于查询登录失败的用户记录
7. 程序日志分析
- 由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
access_log、error_log
代理服务:/var/log/squid/
access.log、cache.log.
FTP服务:lvar/log/xferlog
- 分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer…Awstats等专用志分析工具
8. 日志管理策略
- 及时做好备份和归档
- 延长日志保存期限
- 控制日志访问权限
- 日志中可能会包含各类敏感信息,如账户、口令等
- 集中管理日志
- 将服务器的日志文件发到统一的日志文件服务器
- 便于日志信息的统一收集、整理和分析
- 杜绝日志信息的意外丢失、恶意篡改或删除
9.远程收集日志
配置日志服务器收集日志
rsyslog是一个 C/S 架构,可以通过套接字来进行监听记录工作,可以基于TCP和UDP工作,默认的监听端口是514,只需要在MODULES 打开即可。
C/S架构是软件系统体系结构,通常采用两层结构,即服务器-客户机(Client-Server)结构,主要应用于局域网内。
通过套接字来进行监听记录工作:通过ip找到对方主机,通过端口找到对方服务。
模拟远程收集日志
发送服务器:客户端 192.168.80.20
收集服务器:服务端 192.168.80.30
//关闭服务端和客户端防火墙、selinux
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
//修改客户端配置文件,并启动服务
vim /etc/rsyslog.conf
####MODULES ####
#将下面四行前的注释取消掉
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
####RULES ####
#添加下列内容
$template myFormat, “%timestamp% %hostname% %syslogseverity-text% %syslogtag% %msg%\n”
$ActionFileDefaultTemplate myFormat
*.info;mail.none;authpriv.none;cron.none @@192.168.80.30:514
#%timestamp% :时间戳
#%fromhost-ip% :接收的信息来自于哪个节点的 IP
#%hostname% :主机名
#%syslogseverity-text% :日志等级
#%syslogtag% :服务进程
#%msg% :日志内容
#接收方 IP 前面一个 @ 表示 TCP 传输,两个 @ 表示 UDP 传输
systemctl restart rsyslog
//修改服务端配置文件,并启动服务
vim /etc/rsyslog.conf
#将下面四行前的注释取消掉
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
#添加以下内容
$AllowedSender tcp, 192.168.80.0/24 #允许 192.168.80.0 网段内的主机以tcp协议来传输
$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log" #定义模板,接受日志文件路径,区分了不同主机的日志
:fromhost-ip, !isequal, "127.0.0.1" ?Remote #过滤掉 server 本机的日志
systemctl restart rsyslog
//在服务端创建/data/log目录,以接受大量日志信息,配置文件中的路径应当与该路径一致
mkdir -p /data/log
//验证
#客户端的终端命令行输入或者重启一个服务
logger “hello world”
#在服务端查看日志文件
tree /data/log/