一、服务器入侵现象
近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵,具体现象是:服务器 CPU 资源长期 100%,负载较高。服务器上面的服务不能正常提供服务。
朋友处理了一会没有解决,我开始想说我不是搞安全的,我怎么会,但朋友开出了天价,一顿海底捞,我在生活和现实面前低头了,开始上手看看了。
二、服务器排查和处理
2.1、服务器被入侵的可能原因
- 服务器 ssh 密码,设置得很简单。
- 腾讯云安全组范围放得很大。
- 使用了宝塔,宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。
2.2、排查和处理步骤
1.ps -ef / top 找出占用进程最大的服务
- 问题现象
ps/top命令已经被替换了。
2.查找详细的入侵痕迹last 或者 grep ‘Accepted’ /var/log/secure。
- 问题现象
`[root@VM-12-12-centos ~]# grep 'Accepted' /var/log/secure` `Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2``Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2``Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2``Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2``Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8`
lighthouse 腾讯云轻量服务器
我们在这里就可以看到,有一些境外IP 34.215.138.2成功登录了,这些 IP不是我们的正常登录。在 /var/log/secure 日志里,我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。
- 处理措施
这里我们立马采取了第一个措施,
(1)在腾讯云安全组限制了 SSH 的登录IP, 之前的安全组 SSH 是放行所有IP。
(2)将 SSH ROOT 密码修改。
(3)/root/.ssh/authorized_keys
备份,并清空。
`[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak``cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied`
这时我们就遇到了权限的问题,这个晚点展开讲,因为我们已经限制了源IP, 所以这个我们可以晚点来处理。
3.查看最近新增的一些用户
- 问题现象
`cat /etc/passwd`
- 处理措施
锁定用户
`[root@VM-12-12-centos ~]# usermod -L sys1`
我这里不计划去找进程(已经在新建一台版本一致的系统, 来拷贝top 和ps 命令,需要一小会,我们趁这个时间,先看看其他),因为之前朋友重启过服务器,发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。
- 问题现象
定时任务
crond 读取配置文件会从以下几个路径读取:
- /var/spool/cron/ , 由crontab -e 进行写入,配置文件无需指定用户
- /etc/crontab,只能root 进行编辑,配置文件需指定用户
- /etc/cron.d/,在此文件夹下创建定时任务文件,配置文件需指定用户
- /etc/cron.*
/var/spool/cron/未找到(后面会说到这里有障眼法)
/etc/crontab未找到(后面会说到这里有障眼法)
但是我在/var/log/cron一直看到有任务执行。每间隔5分钟。
`Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )``Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)``Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )`` `` ``Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )``Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )`
- 处理措施
这里我们先做的操作就是,先把/usr/lib/mysql/mysql 和/sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了,所以我开始解锁,我们发现chattr 也被替换和锁住了。所以不能操作下去了。
开机启动脚本
/etc/rc.local, 我们也发现了一个脚本。
`[root@VM-12-12-centos ~]# cat /etc/rc.local` `#!/bin/bash``# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES``#``# It is highly advisable to create own systemd services or udev rules``# to run scripts during boot instead of using this file.``#``# In contrast to previous versions due to parallel execution during boot``# this script will NOT be run after all other services.``#``# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure``# that this script will be executed during boot.`` `` ``/usr/bin/0f4f80f9ab start`
但是这个文件好像不存在的,我们就把这个给注释了。
5.还原更改了 top、ps、chattr、lsattr
首先我们从相同版本的机器拷贝了 chattr、lsattr, 我们得先操作这个, 因为我们的 top 和 ps 都被锁住了。
我将文件上传至 /tmp 目录,然后增加可执行权限,然后先给 /usr/bin/chattr 解除锁定。
`/tmp/chattr -ai /usr/bin/chattr`
执行完之后,发现还是不能替换/usr/bin/chattr。最后耗费了一段时间才反应到,入侵者可能不仅仅加锁了文件还加锁了/usr/bin/。
- 解锁目录
`/tmp/chattr -ai /usr/bin/`
这下才能把 /usr/bin/chattr 给替换掉。
接下来参考这些,我们把 top 和 ps 、lsattr 给还原了。
部分截图
三、本次入侵需要带来启示的点
1.ps 、top 、chattr 、lsattr
在这些命令被替换了,并且我们想还原又还原不了的场景,我们可以拷贝同版本的机器相同的命令放在其它目录,用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁,还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。
2.文件内容隐藏
上文中,我执行crontab -l 和 cat 查看/etc/cron.d/ 下面的文件。发现文件没有内容。
其实不知道使用了什么特殊字符还是什么隐藏了, 其实是存在定时任务的。
示例: