先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注运维)
正文
除非你是在爬我的数据~
还是你就是吃饱撑的!
有些ip定位是酱婶的,你可控制住自己,别太自由喽~
综上分析,我的实现思路如下:
- 监测log日志,分析访问ip。
- 每天ip的访问次数超过100就果断封掉。(为了避免误伤,我暂时把这个阈值设置成100,后面看情况动态调整。)
功能拆解
- 编写脚本,按日期拆分access.log(之前犯懒没做日志拆分,只是定时删除了访问日志)
- 编写定时任务,每天0点拆分访问日志
- 编写脚本,分析access.log访问日志,封禁当天访问次数超过100的ip
- 编写定时任务,每10分钟执行一次封禁ip脚本
思路是如此的清晰,奈何我并不擅长编写shell脚本,于是请教了群里的大佬,最终的实现如下:
具体实现
1. 日志拆分脚本
已经清楚的写了注释
其中LOG_PATH
和PID
换成你自己的路径
# 每天0点执行日志按日期分隔脚本 0 0 \* \* \* cd /www/Home/ && ./log\_cut.sh
#!/bin/bash
#此脚本⽤于⾃动分割Nginx的⽇志,包括access.log
#每天00:00执⾏此脚本将前⼀天的access.log重命名为access-xxxx-xx-xx.log格式,并重新打开⽇志⽂件
#Nginx⽇志⽂件所在⽬录 todo 换成你自己的
LOG\_PATH=/data/logs/nginx/
#获取昨天的⽇期
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)
#获取pid⽂件路径 todo 换成你自己的
PID=/var/run/nginx.pid
#分割⽇志
mv ${LOG\_PATH}access.log ${LOG\_PATH}access-${YESTERDAY}.log
#向Nginx主进程发送USR1信号,重新打开⽇志⽂件
kill -USR1 `cat ${PID}`
2. 编写定时任务
# 每天0点执行日志按日期分隔脚本
0 0 * * * cd /www/Home/ && ./log_cut.sh
#
代表注释- && 表示将两个命令连接在一起,前面的先执行,后面的再执行
- 如果你不知道crontab的定时任务怎么编写,强烈建议你使用这个工具:
crontab时间计算
使用效果如下:
简直不要太好用!
3. 编写封禁ip脚本
注释写的很清楚了:
logdir
替换成你自己的地址/tmp/nginx_deny.log
也可以设置成你自己的地址,或者用这个地址也可以。
# 每十分钟执行一次封禁ip脚本 \*/10 \* \* \* \* cd /www/Home/ && ./blackip.sh
#!/bin/bash
logdir=/data/logs/nginx/access.log #nginx访问日志文件路径
port=443
#循环遍历日志文件取出访问量大于100的ip(忽略自己本地ip)
for drop\_ip in $(cat $logdir | grep -v '127.0.0.1' | awk '{print $1}' | sort | uniq -c | sort -rn | awk '{if ($1>100) print $2}'); do
# 避免重复添加
num=$(grep ${drop\_ip} /tmp/nginx\_deny.log | wc -l)
if [ $num -ge 1 ]; then
continue
fi
# shellcheck disable=SC2154
iptables -I INPUT -p tcp --dport ${port} -s ${drop\_ip} -j DROP
echo ">>>>> $(date '+%Y-%m-%d %H%M%S') - 发现攻击源地址 -> ${drop\_ip} " >>/tmp/nginx_deny.log #记录log
done
4. 编写封禁ip定时任务
# 每十分钟执行一次封禁ip脚本
*/10 * * * * cd /www/Home/ && ./blackip.sh
封禁效果
好了,妈妈再也不用担心我被莫名其妙的攻击了。
思考
如果自己人的ip不小心被封了怎么办呢?
别担心,可以用下面的命令:
#清空屏蔽IP
iptables -t filter -D INPUT -s 1.2.3.4 -j DROP
#一键清空所有规则
iptables -F
附上大佬给的iptablse常用命令,先收藏,慢慢学。
iptablse常用命令
1.清除iptables(常用)
iptables -F
2. 备份iptables(常用)
iptables-save > iptables.txt
3. 导入iptables(常用)
iptables-restore < iptables.txt
4. 机器重启自动生效(常用)
service iptables save
5. 清空某条规则:
iptables -t filter -D INPUT -s 1.2.3.4 -j DROP
6. 禁止某个ip(下面用$ip表示)访问本机:
iptables -I INPUT -s $ip -j DROP
7. 禁止某个ip段(下面用
i
为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!
这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。
本份面试集锦涵盖了
- 174 道运维工程师面试题
- 128道k8s面试题
- 108道shell脚本面试题
- 200道Linux面试题
- 51道docker面试题
- 35道Jenkis面试题
- 78道MongoDB面试题
- 17道ansible面试题
- 60道dubbo面试题
- 53道kafka面试
- 18道mysql面试题
- 40道nginx面试题
- 77道redis面试题
- 28道zookeeper
总计 1000+ 道面试题, 内容 又全含金量又高
- 174道运维工程师面试题
1、什么是运维?
2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?
3、现在给你三百台服务器,你怎么对他们进行管理?
4、简述raid0 raid1raid5二种工作模式的工作原理及特点
5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?
6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?
7、Tomcat和Resin有什么区别,工作中你怎么选择?
8、什么是中间件?什么是jdk?
9、讲述一下Tomcat8005、8009、8080三个端口的含义?
10、什么叫CDN?
11、什么叫网站灰度发布?
12、简述DNS进行域名解析的过程?
13、RabbitMQ是什么东西?
14、讲一下Keepalived的工作原理?
15、讲述一下LVS三种模式的工作过程?
16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?
17、如何重置mysql root密码?
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
6、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?
17、如何重置mysql root密码?
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
[外链图片转存中…(img-k1qUx686-1713602843008)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!