for file in $(ls html); do
mv KaTeX parse error: Expected group after '_' at position 9: file bbs_̲{file#}
# mv $file $(echo $file |sed -r 's/.*(.*)/bbs\1/')
# mv $file $(echo KaTeX parse error: Expected group after '_' at position 15: file |echo bbs_̲(cut -d_ -f2)
方法2:
for file in $(find . -maxdepth 1 -name "html"); do
mv KaTeX parse error: Expected group after '_' at position 9: file bbs_̲{file#_}done
rename article bbs *.html
把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母
1)准备测试文件,文件名为2.txt
第1行1234567不包含字母
第2行56789BBBBBB
第3行67890CCCCCCCC
第4行78asdfDDDDDDDDD
第5行123456EEEEEEEE
第6行1234567ASDF
第7行56789ASDF
第8行67890ASDF
第9行78asdfADSF
第10行123456AAAA
第11行67890ASDF
第12行78asdfADSF
第13行123456AAAA
2)脚本如下:
#!/bin/bash
###############################################################
把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母
##############################################################
sed -n '1,5’p 2.txt |sed '/[a-zA-Z]/'d
sed -n ‘6,10’p 2.txt |sed s’/[a-zA-Z]//'g
sed -n '11,$'p 2.txt
#最终结果只是在屏幕上打印结果,如果想直接更改文件,可将输出结果写入临时文件中,再替换2.txt或者使用-i选项
## 10、统计当前目录中以 .html 结尾的文件总大
方法1:
find . -name “*.html” -exec du -k {} ; |awk ‘{sum+=$1}END{print sum}’
方法2:
for size in $(ls -l *.html |awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 5}̲'); do su…((
s
u
m
+
sum+
sum+size))
done
echo $sum
## 11、扫描主机端口状态
#!/bin/bash
HOST=$1
PORT=“22 25 80 8080”
for PORT in KaTeX parse error: Expected 'EOF', got '&' at position 22: …do if echo &̲>/dev/null > /d…HOST/
P
O
R
T
;
t
h
e
n
e
c
h
o
"
PORT; then echo "
PORT;thenecho"PORT open"
else
echo “$PORT close”
fi
done
用 shell 打印示例语句中字母数小于 6 的单词
#示例语句:
#Bash also interprets a number of multi-character options.
#!/bin/bash
##############################################################
#shell打印示例语句中字母数小于6的单词
##############################################################
for s in Bash also interprets a number of multi-character options.
do
n=echo $s|wc -c
if [ $n -lt 6 ]
then
echo $s
fi
done
## 12、输入数字运行相应命令
#!/bin/bash
##############################################################
#输入数字运行相应命令
##############################################################
echo "cmd menu 1-date 2-ls 3-who 4-pwd 0-exit "
while :
do
#捕获用户键入值
read -p “please input number :” n
n1=echo $n|sed s'/[0-9]//'g
#空输入检测
if [ -z “KaTeX parse error: Expected 'EOF', got '#' at position 43: …nue fi #̲非数字输入检测 if …n1” ]
then
exit 0
fi
break
done
case $n in
1)
date
;;
2)
ls
;;
3)
who
;;
4)
pwd
;;
0)
break
;;
#输入数字非1-4的提示
*)
echo “please input number is [1-4]”
esac
## 13、Expect 实现 SSH 免交互执行命令
Expect是一个自动交互式应用程序的工具,如telnet,ftp,passwd等。
需先安装expect软件包。
方法1:EOF 标准输出作为 expect 标准输入
#!/bin/bash
USER=root
PASS=123.com
IP=192.168.1.120
expect << EOFset timeout 30spawn ssh
U
S
E
R
@
USER@
USER@IP expect { “(yes/no)” {send “yes\r”; exp_continue} “password:” {send “KaTeX parse error: Expected 'EOF', got '}' at position 8: PASS\r"}̲ } expect "USER@" {send "KaTeX parse error: Expected 'EOF', got '}' at position 5: 1\r"}̲ expect "USER@” {send “exit\r”}
expect eof
EOF
方法2:
#!/bin/bash
USER=root
PASS=123.com
IP=192.168.1.120
expect -c "
spawn ssh
U
S
E
R
@
USER@
USER@IP
expect {
“(yes/no)” {send “yes\r”; exp_continue}
“password:” {send “KaTeX parse error: Got function '\"' with no arguments as argument to '\r' at position 7: PASS\r\̲"̲; exp_continue}…USER@*” {send “df -h\r exit\r”; exp_continue}
}"
方法3:将expect脚本独立出来
登录脚本:
cat login.exp
#!/usr/bin/expect
set ip [lindex $argv 0]
set user [lindex $argv 1]
set passwd [lindex $argv 2]
set cmd [lindex $argv 3]
if { $argc != 4 } {
puts “Usage: expect login.exp ip user passwd”
exit 1
}
set timeout 30
spawn ssh
u
s
e
r
@
user@
user@ip
expect {
“(yes/no)” {send “yes\r”; exp_continue}
“password:” {send “KaTeX parse error: Expected 'EOF', got '}' at position 10: passwd\r"}̲ } expect "user@" {send "KaTeX parse error: Expected 'EOF', got '}' at position 7: cmd\r"}̲ expect "user@” {send “exit\r”}
expect eof
执行命令脚本:写个循环可以批量操作多台服务器
#!/bin/bash
HOST_INFO=user_info.txt
for ip in $(awk ‘{print $1}’
H
O
S
T
I
N
F
O
)
d
o
u
s
e
r
=
HOST_INFO) do user=
HOSTINFO)douser=(awk -v I=“$ip” ‘I==$1{print $2}’
H
O
S
T
I
N
F
O
)
p
a
s
s
=
HOST_INFO) pass=
HOSTINFO)pass=(awk -v I=“$ip” ‘I==$1{print $3}’ $HOST_INFO)
expect login.exp $ip $user $pass $1
done
## 13、Linux主机SSH连接信息:
cat user_info.txt
192.168.1.120 root 123456
创建10个用户,并分别设置密码,密码要求10位且包含大小写字母以及数字,最后需要把每个用户的密码存在指定文件中 。
#!/bin/bash
##############################################################
#创建10个用户,并分别设置密码,密码要求10位且包含大小写字母以及数字
#最后需要把每个用户的密码存在指定文件中
#前提条件:安装mkpasswd命令
##############################################################
#生成10个用户的序列(00-09)
for u in seq -w 0 09
do
#创建用户
useradd user_$u
#生成密码
p=mkpasswd -s 0 -l 10
#从标准输入中读取密码进行修改(不安全)
echo KaTeX parse error: Expected group after '_' at position 22: …wd --stdin user_̲u
#常规修改密码
echo -e “KaTeX parse error: Undefined control sequence: \n at position 2: p\̲n̲p”|passwd user_KaTeX parse error: Expected 'EOF', got '#' at position 7: u #̲将创建的用户及对应的密码记录到…u $p" >> /tmp/userpassword
done
## 14、监控 httpd 的进程数,根据监控情况做相应处理
#!/bin/bash
###############################################################################################################################
#需求:
#1.每隔10s监控httpd的进程数,若进程数大于等于500,则自动重启Apache服务,并检测服务是否重启成功
#2.若未成功则需要再次启动,若重启5次依旧没有成功,则向管理员发送告警邮件,并退出检测
#3.如果启动成功,则等待1分钟后再次检测httpd进程数,若进程数正常,则恢复正常检测(10s一次),否则放弃重启并向管理员发送告警邮件,并退出检测
###############################################################################################################################
#计数器函数
check_service()
{
j=0
for i in seq 1 5
do
#重启Apache的命令
/usr/local/apache2/bin/apachectl restart 2> /var/log/httpderr.log
#判断服务是否重启成功
if [
?
−
e
q
0
]
t
h
e
n
b
r
e
a
k
e
l
s
e
j
=
? -eq 0 ] then break else j=
?−eq0]thenbreakelsej=[$j+1]
fi
#判断服务是否已尝试重启5次
if [ $j -eq 5 ]
then
mail.py
exit
fi
done
}
while :
do
n=pgrep -l httpd|wc -l
#判断httpd服务进程数是否超过500
if [ $n -gt 500 ]
then
/usr/local/apache2/bin/apachectl restart
if [ $? -ne 0 ]
then
check_service
else
sleep 60
n2=pgrep -l httpd|wc -l
#判断重启后是否依旧超过500
if [ $n2 -gt 500 ]
then
mail.py
exit
fi
fi
fi
#每隔10s检测一次
sleep 10
done
## 15、批量修改服务器用户密码
Linux主机SSH连接信息:旧密码
cat old_pass.txt
192.168.18.217 root 123456 22
192.168.18.218 root 123456 22
内容格式:IP User Password Port
SSH远程修改密码脚本:新密码随机生成
#!/bin/bash
OLD_INFO=old_pass.txt
NEW_INFO=new_pass.txt
for IP in $(awk ‘/[#]/{print $1}’
O
L
D
I
N
F
O
)
;
d
o
U
S
E
R
=
OLD_INFO); do USER=
OLDINFO);doUSER=(awk -v I=$IP ‘I==$1{print $2}’
O
L
D
I
N
F
O
)
P
A
S
S
=
OLD_INFO) PASS=
OLDINFO)PASS=(awk -v I=$IP ‘I==$1{print $3}’
O
L
D
I
N
F
O
)
P
O
R
T
=
OLD_INFO) PORT=
OLDINFO)PORT=(awk -v I=$IP ‘I==$1{print $4}’
O
L
D
I
N
F
O
)
N
E
W
P
A
S
S
=
OLD_INFO) NEW_PASS=
OLDINFO)NEWPASS=(mkpasswd -l 8) # 随机密码
echo “$IP $USER $NEW_PASS $PORT” >>
N
E
W
I
N
F
O
e
x
p
e
c
t
−
c
"
s
p
a
w
n
s
s
h
−
p
NEW_INFO expect -c " spawn ssh -p
NEWINFOexpect−c"spawnssh−pPORT
U
S
E
R
@
USER@
USER@IP
set timeout 2
expect {
“(yes/no)” {send “yes\r”;exp_continue}
“password:” {send “KaTeX parse error: Got function '\"' with no arguments as argument to '\r' at position 7: PASS\r\̲"̲;exp_continue} …USER@*” {send “echo ‘$NEW_PASS’ |passwd --stdin $USER\r exit\r”;exp_continue}
}"
done
生成新密码文件:
cat new_pass.txt
192.168.18.217 root n8wX3mU% 22
192.168.18.218 root c87;ZnnL 22
## 16、iptables 自动屏蔽访问网站频繁的IP
场景:恶意访问,安全防范
1)屏蔽每分钟访问超过200的IP
方法1:根据访问日志(Nginx为例)
#!/bin/bash
DATE=
(
d
a
t
e
+
A
B
N
O
R
M
A
L
I
P
=
(date +%d/%b/%Y:%H:%M) ABNORMAL_IP=
(date+ABNORMALIP=(tail -n5000 access.log |grep $DATE |awk ‘{a[$1]++}END{for(i in a)if(a[i]>100)print i}’)
#先tail防止文件过大,读取慢,数字可调整每分钟最大的访问量。awk不能直接过滤日志,因为包含特殊字符。
for IP in $ABNORMAL_IP; do
if [
(
i
p
t
a
b
l
e
s
−
v
n
L
∣
g
r
e
p
−
c
"
(iptables -vnL |grep -c "
(iptables−vnL∣grep−c"IP") -eq 0 ];
then
iptables -I INPUT -s $IP -j DROP
fi
done
方法2:通过TCP建立的连接
#!/bin/bash
ABNORMAL_IP=$(netstat -an |awk ‘
4
/
:
80
4~/:80
4 /:80/ && $6~/ESTABLISHED/{gsub(/:[0-9]+/,“”,$5);{a[$5]++}}END{for(i in a)if(a[i]>100)print i}’)
#gsub是将第五列(客户端IP)的冒号和端口去掉
for IP in $ABNORMAL_IP; do
if [
(
i
p
t
a
b
l
e
s
−
v
n
L
∣
g
r
e
p
−
c
"
(iptables -vnL |grep -c "
(iptables−vnL∣grep−c"IP") -eq 0 ]; then
iptables -I INPUT -s $IP -j DROP
fi
done
2)屏蔽每分钟SSH尝试登录超过10次的IP
方法1:通过lastb获取登录状态:
#!/bin/bash
DATE=
(
d
a
t
e
+
"
A
B
N
O
R
M
A
L
I
P
=
(date +"%a %b %e %H:%M") #星期月天时分 %e单数字时显示7,而%d显示07 ABNORMAL_IP=
(date+"ABNORMALIP=(lastb |grep “$DATE” |awk ‘{a[$3]++}END{for(i in a)if(a[i]>10)print i}’)
for IP in $ABNORMAL_IP; do
if [
(
i
p
t
a
b
l
e
s
−
v
n
L
∣
g
r
e
p
−
c
"
(iptables -vnL |grep -c "
(iptables−vnL∣grep−c"IP") -eq 0 ];
then
iptables -I INPUT -s $IP -j DROP
fi
done
方法2:通过日志获取登录状态
#!/bin/bash
DATE=
(
d
a
t
e
+
"
A
B
N
O
R
M
A
L
I
P
=
"
(date +"%b %d %H") ABNORMAL_IP="
(date+"ABNORMALIP="(tail -n10000 /var/log/auth.log |grep “KaTeX parse error: Expected '}', got 'EOF' at end of input: …wk '/Failed/{a[(NF-3)]++}END{for(i in a)if(a[i]>5)print i}')”
for IP in $ABNORMAL_IP; do
if [
(
i
p
t
a
b
l
e
s
−
v
n
L
∣
g
r
e
p
−
c
"
(iptables -vnL |grep -c "
(iptables−vnL∣grep−c"IP") -eq 0 ]; then
iptables -A INPUT -s
I
P
−
j
D
R
O
P
e
c
h
o
"
IP -j DROP echo "
IP−jDROPecho"(date +“%F %T”) - iptables -A INPUT -s $IP -j DROP" >>~/ssh-login-limit.log
fi
done
## 17、根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
#!/bin/bash
####################################################################################
#根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
####################################################################################
logfile=/data/log/access.log
#显示一分钟前的小时和分钟
d1=date -d "-1 minute" +%H%M
d2=date +%M
ipt=/sbin/iptables
ips=/tmp/ips.txt
block()
{
#将一分钟前的日志全部过滤出来并提取IP以及统计访问次数
grep ‘$d1:’ $logfile|awk ‘{print $1}’|sort -n|uniq -c|sort -n > $ips
#利用for循环将次数超过100的IP依次遍历出来并予以封禁
for i in awk '$1>100 {print $2}' $ips
do
$ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT
echo "date +%F-%T
KaTeX parse error: Expected 'EOF', got '}' at position 31: …p.log done }̲ unblock() { …ipt -nvL INPUT --line-numbers |grep ‘0.0.0.0/0’|awk ‘$2<10 {print $1}’|sort -nr`
do
$ipt -D INPUT $a
done
$ipt -Z
}
#当时间在00分以及30分时执行解封函数
if [ $d2 -eq “00” ] || [ $d2 -eq “30” ]
then
#要先解再封,因为刚刚封禁时产生的pkts数量很少
unblock
block
else
block
fi
## 18、判断用户输入的是否为IP地址
方法1:
#!/bin/bash
function check_ip(){
IP=
1
V
A
L
I
D
C
H
E
C
K
=
1 VALID_CHECK=
1VALIDCHECK=(echo $IP|awk -F. ‘$1< =255&&$2<=255&&$3<=255&&$4<=255{print “yes”}’)
if echo
I
P
∣
g
r
e
p
−
E
"
[
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
IP|grep -E "^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}
IP∣grep−E"[0−9]1,3[˙0−9]1,3[˙0−9]1,3[˙0−9]1,3“>/dev/null; then
if [
V
A
L
I
D
C
H
E
C
K
=
=
"
y
e
s
"
]
;
t
h
e
n
e
c
h
o
"
VALID_CHECK == "yes" ]; then echo "
VALIDCHECK=="yes"];thenecho"IP available.”
else
echo “$IP not available!”
fi
else
echo “Format error!”
fi
}
check_ip 192.168.1.1
check_ip 256.1.1.1
方法2:
#!/bin/bash
function check_ip(){
IP=$1
if [[
I
P
=
[
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
[
˙
0
−
9
]
1
,
3
IP =~ ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}
IP= [0−9]1,3[˙0−9]1,3[˙0−9]1,3[˙0−9]1,3 ]]; then
FIELD1=$(echo
I
P
∣
c
u
t
−
d
.
−
f
1
)
F
I
E
L
D
2
=
IP|cut -d. -f1) FIELD2=
IP∣cut−d.−f1)FIELD2=(echo
I
P
∣
c
u
t
−
d
.
−
f
2
)
F
I
E
L
D
3
=
IP|cut -d. -f2) FIELD3=
IP∣cut−d.−f2)FIELD3=(echo
I
P
∣
c
u
t
−
d
.
−
f
3
)
F
I
E
L
D
4
=
IP|cut -d. -f3) FIELD4=
IP∣cut−d.−f3)FIELD4=(echo $IP|cut -d. -f4)
if [ $FIELD1 -le 255 -a $FIELD2 -le 255 -a $FIELD3 -le 255 -a
F
I
E
L
D
4
−
l
e
255
]
;
t
h
e
n
e
c
h
o
"
FIELD4 -le 255 ]; then echo "
FIELD4−le255];thenecho"IP available."
else
echo “$IP not available!”
fi
else
echo “Format error!”
fi
}
check_ip 192.168.1.1
check_ip 256.1.1.1
增加版:
加个死循环,如果IP可用就退出,不可用提示继续输入,并使用awk判断。
#!/bin/bash
function check_ip(){
local IP=$1
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前在阿里
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
果低效又漫长,而且极易碰到天花板技术停滞不前!**
因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-NaiIF1Yf-1714324018375)]
[外链图片转存中…(img-OHuuWuM5-1714324018376)]
[外链图片转存中…(img-jaqSBGgS-1714324018376)]
[外链图片转存中…(img-YdD6yhfg-1714324018376)]
[外链图片转存中…(img-cuPBc8MC-1714324018377)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新