key-word:datetime kill java 可疑ip ssh
1.应用自身的日志
可以确定的内容:应用挂掉时间点,无有异常。如:jar、nginx的logs: access warning error
2.负载日志
sar -r/B -f sa22 //查看应用挂掉前后,系统的变化
3.journal日志
journalctl --since="2020-03-31 22:01:01" --until="2020-04-05 05:01:02" //查找时间段内的 key-word
journalctl | grep '可疑ip'
4.启动失败
实际项目中,存在代码写的比较烂,或者使用公司独立开发的框架(不成熟阶段),日志都不能完全打印
重点排查以下几点:
- 虚拟机(或容器)环境变量使用的参数 是否 与运行环境一致(开发联调环境、预发环境、线上环境)
- 应用的底层依赖。如 mysql、redis、es
- 第三方依赖。如 登录鉴权中心、hive、zookeeper
5.日志,与定位问题无关
- /var/run/utmp:当前正在登录系统的用户信息 who和w :当前登录用户的信息,uptime :系统启动时间
- 关于journal日志
dmesg -T //内核日志,等同于 journalctl -k //grep -iE 'memory|usb|dma|tty' - 日志文件
/var/log/messages egrep -ri 'error|warn' /var/log/messages 系统启动后的信息和错误日志,最常用的日志之一
/var/log/secure 与安全相关的日志信息
/var/log/maillog 与邮件相关的日志信息
/var/log/cron 与定时任务相关的日志信息
/var/log/spooler 与UUCP和news设备相关的日志信息
/var/log/boot.log 守护进程启动和停止相关的日志消息
/var/log/wtmp last 或者 last -f /var/log/wtmp | grep '11.48.22.19' 用户登录日志
/var/log/btmp lastb 登录失败日志