【shell学习】企业运维工作中常用的shell脚本(1)

for file in $(ls html); do
mv KaTeX parse error: Expected group after '_' at position 9: file bbs_̲{file#
}
# mv $file $(echo $file |sed -r 's/.*(
.*)/bbs\1/')
# mv $file $(echo KaTeX parse error: Expected group after '_' at position 15: file |echo bbs_̲(cut -d_ -f2)

方法2:

for file in $(find . -maxdepth 1 -name "html"); do
mv KaTeX parse error: Expected group after '_' at position 9: file bbs_̲{file#
_}done

rename article bbs *.html

把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母

1)准备测试文件,文件名为2.txt

第1行1234567不包含字母
第2行56789BBBBBB
第3行67890CCCCCCCC
第4行78asdfDDDDDDDDD
第5行123456EEEEEEEE
第6行1234567ASDF
第7行56789ASDF
第8行67890ASDF
第9行78asdfADSF
第10行123456AAAA
第11行67890ASDF
第12行78asdfADSF
第13行123456AAAA

2)脚本如下:

#!/bin/bash
###############################################################
把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母
##############################################################
sed -n '1,5’p 2.txt |sed '/[a-zA-Z]/'d
sed -n ‘6,10’p 2.txt |sed s’/[a-zA-Z]//'g
sed -n '11,$'p 2.txt
#最终结果只是在屏幕上打印结果,如果想直接更改文件,可将输出结果写入临时文件中,再替换2.txt或者使用-i选项


## 10、统计当前目录中以 .html 结尾的文件总大



方法1:

find . -name “*.html” -exec du -k {} ; |awk ‘{sum+=$1}END{print sum}’

方法2:

for size in $(ls -l *.html |awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 5}̲'); do su…(( s u m + sum+ sum+size))
done
echo $sum


## 11、扫描主机端口状态



#!/bin/bash
HOST=$1
PORT=“22 25 80 8080”
for PORT in KaTeX parse error: Expected 'EOF', got '&' at position 22: …do if echo &̲>/dev/null > /d…HOST/ P O R T ; t h e n e c h o " PORT; then echo " PORT;thenecho"PORT open"
else
echo “$PORT close”
fi
done

用 shell 打印示例语句中字母数小于 6 的单词

#示例语句:
#Bash also interprets a number of multi-character options.
#!/bin/bash
##############################################################
#shell打印示例语句中字母数小于6的单词
##############################################################
for s in Bash also interprets a number of multi-character options.
do
n=echo $s|wc -c
if [ $n -lt 6 ]
then
echo $s
fi
done


## 12、输入数字运行相应命令



#!/bin/bash
##############################################################
#输入数字运行相应命令
##############################################################
echo "cmd menu 1-date 2-ls 3-who 4-pwd 0-exit "
while :
do
#捕获用户键入值
read -p “please input number :” n
n1=echo $n|sed s'/[0-9]//'g
#空输入检测
if [ -z “KaTeX parse error: Expected 'EOF', got '#' at position 43: …nue fi #̲非数字输入检测 if …n1” ]
then
exit 0
fi
break
done
case $n in
1)
date
;;
2)
ls
;;
3)
who
;;
4)
pwd
;;
0)
break
;;
#输入数字非1-4的提示
*)
echo “please input number is [1-4]”
esac


## 13、Expect 实现 SSH 免交互执行命令



Expect是一个自动交互式应用程序的工具,如telnet,ftp,passwd等。
需先安装expect软件包。

方法1:EOF 标准输出作为 expect 标准输入

#!/bin/bash
USER=root
PASS=123.com
IP=192.168.1.120
expect << EOFset timeout 30spawn ssh U S E R @ USER@ USER@IP expect { “(yes/no)” {send “yes\r”; exp_continue} “password:” {send “KaTeX parse error: Expected 'EOF', got '}' at position 8: PASS\r"}̲ } expect "USER@" {send "KaTeX parse error: Expected 'EOF', got '}' at position 5: 1\r"}̲ expect "USER@” {send “exit\r”}
expect eof
EOF

方法2:

#!/bin/bash
USER=root
PASS=123.com
IP=192.168.1.120
expect -c "
spawn ssh U S E R @ USER@ USER@IP
expect {
“(yes/no)” {send “yes\r”; exp_continue}
“password:” {send “KaTeX parse error: Got function '\"' with no arguments as argument to '\r' at position 7: PASS\r\̲"̲; exp_continue}…USER@*” {send “df -h\r exit\r”; exp_continue}
}"

方法3:将expect脚本独立出来

登录脚本:

cat login.exp

#!/usr/bin/expect
set ip [lindex $argv 0]
set user [lindex $argv 1]
set passwd [lindex $argv 2]
set cmd [lindex $argv 3]
if { $argc != 4 } {
puts “Usage: expect login.exp ip user passwd”
exit 1
}
set timeout 30
spawn ssh u s e r @ user@ user@ip
expect {
“(yes/no)” {send “yes\r”; exp_continue}
“password:” {send “KaTeX parse error: Expected 'EOF', got '}' at position 10: passwd\r"}̲ } expect "user@" {send "KaTeX parse error: Expected 'EOF', got '}' at position 7: cmd\r"}̲ expect "user@” {send “exit\r”}
expect eof

执行命令脚本:写个循环可以批量操作多台服务器

#!/bin/bash
HOST_INFO=user_info.txt
for ip in $(awk ‘{print $1}’ H O S T I N F O ) d o u s e r = HOST_INFO) do user= HOSTINFO)douser=(awk -v I=“$ip” ‘I==$1{print $2}’ H O S T I N F O ) p a s s = HOST_INFO) pass= HOSTINFO)pass=(awk -v I=“$ip” ‘I==$1{print $3}’ $HOST_INFO)
expect login.exp $ip $user $pass $1
done


## 13、Linux主机SSH连接信息:



cat user_info.txt

192.168.1.120 root 123456

创建10个用户,并分别设置密码,密码要求10位且包含大小写字母以及数字,最后需要把每个用户的密码存在指定文件中 。

#!/bin/bash
##############################################################
#创建10个用户,并分别设置密码,密码要求10位且包含大小写字母以及数字
#最后需要把每个用户的密码存在指定文件中
#前提条件:安装mkpasswd命令
##############################################################
#生成10个用户的序列(00-09)
for u in seq -w 0 09
do
#创建用户
useradd user_$u
#生成密码
p=mkpasswd -s 0 -l 10
#从标准输入中读取密码进行修改(不安全)
echo KaTeX parse error: Expected group after '_' at position 22: …wd --stdin user_̲u
#常规修改密码
echo -e “KaTeX parse error: Undefined control sequence: \n at position 2: p\̲n̲p”|passwd user_KaTeX parse error: Expected 'EOF', got '#' at position 7: u #̲将创建的用户及对应的密码记录到…u $p" >> /tmp/userpassword
done


##  14、监控 httpd 的进程数,根据监控情况做相应处理



#!/bin/bash
###############################################################################################################################
#需求:
#1.每隔10s监控httpd的进程数,若进程数大于等于500,则自动重启Apache服务,并检测服务是否重启成功
#2.若未成功则需要再次启动,若重启5次依旧没有成功,则向管理员发送告警邮件,并退出检测
#3.如果启动成功,则等待1分钟后再次检测httpd进程数,若进程数正常,则恢复正常检测(10s一次),否则放弃重启并向管理员发送告警邮件,并退出检测
###############################################################################################################################
#计数器函数
check_service()
{
j=0
for i in seq 1 5
do
#重启Apache的命令
/usr/local/apache2/bin/apachectl restart 2> /var/log/httpderr.log
#判断服务是否重启成功
if [ ? − e q 0 ] t h e n b r e a k e l s e j = ? -eq 0 ] then break else j= ?eq0]thenbreakelsej=[$j+1]
fi
#判断服务是否已尝试重启5次
if [ $j -eq 5 ]
then
mail.py
exit
fi
done
}
while :
do
n=pgrep -l httpd|wc -l
#判断httpd服务进程数是否超过500
if [ $n -gt 500 ]
then
/usr/local/apache2/bin/apachectl restart
if [ $? -ne 0 ]
then
check_service
else
sleep 60
n2=pgrep -l httpd|wc -l
#判断重启后是否依旧超过500
if [ $n2 -gt 500 ]
then
mail.py
exit
fi
fi
fi
#每隔10s检测一次
sleep 10
done


## 15、批量修改服务器用户密码



Linux主机SSH连接信息:旧密码

cat old_pass.txt

192.168.18.217 root 123456 22
192.168.18.218 root 123456 22

内容格式:IP User Password Port

SSH远程修改密码脚本:新密码随机生成

#!/bin/bash
OLD_INFO=old_pass.txt
NEW_INFO=new_pass.txt
for IP in $(awk ‘/[#]/{print $1}’ O L D I N F O ) ; d o U S E R = OLD_INFO); do USER= OLDINFO);doUSER=(awk -v I=$IP ‘I==$1{print $2}’ O L D I N F O ) P A S S = OLD_INFO) PASS= OLDINFO)PASS=(awk -v I=$IP ‘I==$1{print $3}’ O L D I N F O ) P O R T = OLD_INFO) PORT= OLDINFO)PORT=(awk -v I=$IP ‘I==$1{print $4}’ O L D I N F O ) N E W P A S S = OLD_INFO) NEW_PASS= OLDINFO)NEWPASS=(mkpasswd -l 8) # 随机密码
echo “$IP $USER $NEW_PASS $PORT” >> N E W I N F O e x p e c t − c " s p a w n s s h − p NEW_INFO expect -c " spawn ssh -p NEWINFOexpectc"spawnsshpPORT U S E R @ USER@ USER@IP
set timeout 2
expect {
“(yes/no)” {send “yes\r”;exp_continue}
“password:” {send “KaTeX parse error: Got function '\"' with no arguments as argument to '\r' at position 7: PASS\r\̲"̲;exp_continue} …USER@*” {send “echo ‘$NEW_PASS’ |passwd --stdin $USER\r exit\r”;exp_continue}
}"
done

生成新密码文件:

cat new_pass.txt

192.168.18.217 root n8wX3mU% 22
192.168.18.218 root c87;ZnnL 22


## 16、iptables 自动屏蔽访问网站频繁的IP



场景:恶意访问,安全防范

1)屏蔽每分钟访问超过200的IP

方法1:根据访问日志(Nginx为例)

#!/bin/bash
DATE= ( d a t e + A B N O R M A L I P = (date +%d/%b/%Y:%H:%M) ABNORMAL_IP= (date+ABNORMALIP=(tail -n5000 access.log |grep $DATE |awk ‘{a[$1]++}END{for(i in a)if(a[i]>100)print i}’)
#先tail防止文件过大,读取慢,数字可调整每分钟最大的访问量。awk不能直接过滤日志,因为包含特殊字符。
for IP in $ABNORMAL_IP; do
if [ ( i p t a b l e s − v n L ∣ g r e p − c " (iptables -vnL |grep -c " (iptablesvnLgrepc"IP") -eq 0 ];
then
iptables -I INPUT -s $IP -j DROP
fi
done

方法2:通过TCP建立的连接

#!/bin/bash
ABNORMAL_IP=$(netstat -an |awk ‘ 4   / : 80 4~/:80 4 /:80/ && $6~/ESTABLISHED/{gsub(/:[0-9]+/,“”,$5);{a[$5]++}}END{for(i in a)if(a[i]>100)print i}’)
#gsub是将第五列(客户端IP)的冒号和端口去掉
for IP in $ABNORMAL_IP; do
if [ ( i p t a b l e s − v n L ∣ g r e p − c " (iptables -vnL |grep -c " (iptablesvnLgrepc"IP") -eq 0 ]; then
iptables -I INPUT -s $IP -j DROP
fi
done

2)屏蔽每分钟SSH尝试登录超过10次的IP

方法1:通过lastb获取登录状态:

#!/bin/bash
DATE= ( d a t e + " A B N O R M A L I P = (date +"%a %b %e %H:%M") #星期月天时分 %e单数字时显示7,而%d显示07 ABNORMAL_IP= (date+"ABNORMALIP=(lastb |grep “$DATE” |awk ‘{a[$3]++}END{for(i in a)if(a[i]>10)print i}’)
for IP in $ABNORMAL_IP; do
if [ ( i p t a b l e s − v n L ∣ g r e p − c " (iptables -vnL |grep -c " (iptablesvnLgrepc"IP") -eq 0 ];
then
iptables -I INPUT -s $IP -j DROP
fi
done

方法2:通过日志获取登录状态

#!/bin/bash
DATE= ( d a t e + " A B N O R M A L I P = " (date +"%b %d %H") ABNORMAL_IP=" (date+"ABNORMALIP="(tail -n10000 /var/log/auth.log |grep “KaTeX parse error: Expected '}', got 'EOF' at end of input: …wk '/Failed/{a[(NF-3)]++}END{for(i in a)if(a[i]>5)print i}')”
for IP in $ABNORMAL_IP; do
if [ ( i p t a b l e s − v n L ∣ g r e p − c " (iptables -vnL |grep -c " (iptablesvnLgrepc"IP") -eq 0 ]; then
iptables -A INPUT -s I P − j D R O P e c h o " IP -j DROP echo " IPjDROPecho"(date +“%F %T”) - iptables -A INPUT -s $IP -j DROP" >>~/ssh-login-limit.log
fi
done


## 17、根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁



#!/bin/bash
####################################################################################
#根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
####################################################################################
logfile=/data/log/access.log
#显示一分钟前的小时和分钟
d1=date -d "-1 minute" +%H%M
d2=date +%M
ipt=/sbin/iptables
ips=/tmp/ips.txt
block()
{
#将一分钟前的日志全部过滤出来并提取IP以及统计访问次数
grep ‘$d1:’ $logfile|awk ‘{print $1}’|sort -n|uniq -c|sort -n > $ips
#利用for循环将次数超过100的IP依次遍历出来并予以封禁
for i in awk '$1>100 {print $2}' $ips
do
$ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT
echo "date +%F-%T KaTeX parse error: Expected 'EOF', got '}' at position 31: …p.log done }̲ unblock() { …ipt -nvL INPUT --line-numbers |grep ‘0.0.0.0/0’|awk ‘$2<10 {print $1}’|sort -nr`
do
$ipt -D INPUT $a
done
$ipt -Z
}
#当时间在00分以及30分时执行解封函数
if [ $d2 -eq “00” ] || [ $d2 -eq “30” ]
then
#要先解再封,因为刚刚封禁时产生的pkts数量很少
unblock
block
else
block
fi


## 18、判断用户输入的是否为IP地址



方法1:

#!/bin/bash
function check_ip(){
IP= 1 V A L I D C H E C K = 1 VALID_CHECK= 1VALIDCHECK=(echo $IP|awk -F. ‘$1< =255&&$2<=255&&$3<=255&&$4<=255{print “yes”}’)
if echo I P ∣ g r e p − E " [ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 IP|grep -E "^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3} IPgrepE"[09]1,3[˙09]1,3[˙09]1,3[˙09]1,3“>/dev/null; then
if [ V A L I D C H E C K = = " y e s " ] ; t h e n e c h o " VALID_CHECK == "yes" ]; then echo " VALIDCHECK=="yes"];thenecho"IP available.”
else
echo “$IP not available!”
fi
else
echo “Format error!”
fi
}
check_ip 192.168.1.1
check_ip 256.1.1.1

方法2:

#!/bin/bash
function check_ip(){
IP=$1
if [[ I P =   [ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 [ ˙ 0 − 9 ] 1 , 3 IP =~ ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3} IP= [09]1,3[˙09]1,3[˙09]1,3[˙09]1,3 ]]; then
FIELD1=$(echo I P ∣ c u t − d . − f 1 ) F I E L D 2 = IP|cut -d. -f1) FIELD2= IPcutd.f1)FIELD2=(echo I P ∣ c u t − d . − f 2 ) F I E L D 3 = IP|cut -d. -f2) FIELD3= IPcutd.f2)FIELD3=(echo I P ∣ c u t − d . − f 3 ) F I E L D 4 = IP|cut -d. -f3) FIELD4= IPcutd.f3)FIELD4=(echo $IP|cut -d. -f4)
if [ $FIELD1 -le 255 -a $FIELD2 -le 255 -a $FIELD3 -le 255 -a F I E L D 4 − l e 255 ] ; t h e n e c h o " FIELD4 -le 255 ]; then echo " FIELD4le255];thenecho"IP available."
else
echo “$IP not available!”
fi
else
echo “Format error!”
fi
}
check_ip 192.168.1.1
check_ip 256.1.1.1

增加版:

加个死循环,如果IP可用就退出,不可用提示继续输入,并使用awk判断。

#!/bin/bash
function check_ip(){
local IP=$1
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前在阿里

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化的资料的朋友,可以点击这里获取!

果低效又漫长,而且极易碰到天花板技术停滞不前!**

因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-NaiIF1Yf-1714324018375)]
[外链图片转存中…(img-OHuuWuM5-1714324018376)]
[外链图片转存中…(img-jaqSBGgS-1714324018376)]
[外链图片转存中…(img-YdD6yhfg-1714324018376)]
[外链图片转存中…(img-cuPBc8MC-1714324018377)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化的资料的朋友,可以点击这里获取!

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值