bash练习

已于 2023-09-19 12:53:45 修改
阅读量498 收藏
点赞数
分类专栏： bash练习 文章标签： bash linux 开发语言
于 2022-12-13 23:41:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64316191/article/details/128309677
版权

适用于 ubuntu 20.04
ubuntu 20.04 是 “西柚云” 主要使用的操作系统 西柚云官网

文章目录

1.统计文件的行数

# 方法 1
wc -l nowcoder.txt | awk '{print $1}'
# 方法 2-1
cat nowcoder.txt | wc -l
# 方法 2-2
wc -l < nowcoder.txt

# 方法 3-1
cat -n nowcoder.txt | awk '{print $1}' | tail -n 1
# 方法 3-2
cat -n nowcoder.txt | tail -n 1 | awk '{print $1}'

# 方法 4
i=0
while read p;
    do
        i=$((i + 1))
done < nowcoder.txt
echo $i

2.打印文件的最后5行

# 方法1
end=$(wc -l < nowcoder.txt)
start=$(( end - 5 + 1))
if [[ $start -lt 1 ]]; then
	start=1
fi	
sed -n "$start,$end p" nowcoder.txt
# 方法 2
tail -n 5 nowcoder.txt
# 方法 3
tac nowcoder.txt | head -n 5 | tac

# 方法 4
awk 'BEGIN {
	s=1
} {
	lines[s]=$0;
	s++
}
END {
    for(i=NR-4; i<=NR; i++) {
        print(lines[i])
	}
}' nowcoder.txt

# 方法 5
function count_lines() {
	number=0
	filename="$1"
    while read p;
        do
            number=$((number + 1))
    	done < $filename
    echo $number
}
# 获取文件的行数
end=`count_lines nowcoder.txt`
start=$((end - 5 + 1))
if [[ $start -lt 1 ]]; then
	start=1
fi	
sed -n "$start,$end p" nowcoder.txt

3.输出7的倍数

# 方法 1
start=0
end=500
step=7
while [ $start -lt $end ]; do
    if !(( $start % $step )); then
         echo $start
         start=$(( start + 1 ))
    else
         start=$(( start + 1 ))
    fi
done

# 方法 2
for num in {0..500..7}; do 
   echo "${num}"
done

# 方法 3
for num in {0..500};do
   [[ "((num%7))" -eq 0 ]] && echo "${num}"
done

4.输出第5行的内容

# 方法 1
sed -n '5p' nowcoder.txt
# 方法 2 
head -n 5 nowcoder.txt | tail -n 1
# 方法 3 number row
awk '{ if(NR==5) {print($0)} }' nowcoder.txt

5.打印空行的行号

# 方法 1
awk -n '/^$/ {print NR}' nowcoder.txt
# 方法 2
sed -n '/^$/=' nowcoder.txt

# 方法 3
i=1
while read line; do
	if [[ $line =~ ^$ ]]; then
		echo $i
	fi		
	i=$((i+1))
done<$1

6.去掉空行

# sed 只有加了 -i 参数才会修改原文件，否则只会输出修改后的内容，你也可以使用重定向符号（>）将输出重定向到 1 个文件中
# 方法 1
sed -n '/^$/!p' nowcoder.txt
# 方法2
awk -n '{if ($0 != "") print $0}' nowcoder.txt
# 方法 3
awk '!/^$/ {print $0}' nowcoder.txt
# 方法 4
grep -v '^$' nowcoder.txt

7.打印字母数小于8的单词

# 方法 1
awk -F " " '{for(i=1;i<=NF;i++) { if(length($i) < 8) { print($i) }}}' nowcoder.txt

# 方法 2
words=$(cat nowcoder.txt)
for i in ${words[*]}; do
    if [ ${#i} -lt 8 ]; then
        echo ${i}
    fi
done

# 方法 3
for i in $(cat nowcoder.txt); do
    if [ ${#i} -lt 8 ]; then
        echo ${i}
    fi
done

8.统计所有进程占用内存百分比的和

# 方法 1
awk '{} {sum += $6} END {print(sum)}' nowcoder.txt

# 方法 2
sum=0
while read p
do
    arr=($p)
    ((sum += arr[5]))
done < nowcoder.txt
echo $sum

9.统计每个单词出现的个数

# 方法 1
awk '{for(i=1;i<=NF;i++) a[$i]+=1}END{for (x in a) print x, a[x]}' nowcoder.txt

10.第二列是否有重复

# 方法 1
awk '{a[$2]+=1}END{for(x in a){if(a[x]>1) print a[x],x}}' nowcoder.txt

11.转置文件的内容

# 方法 1
awk '{
     for(i=1;i<=NF;i++){
       if(NR==1){
         row[i] = $i;
       }else{
         row[i] = row[i]" "$i;
       }
     }
 }END{
   for(i=1;i<=NF;i++){
     print row[i]
   }
 }
' nowcoder.txt



# 方法 2
declare -a arr1
declare -a arr2

while read line 
do
    arr=($line)
    arr1[${#arr1[@]}]=${arr[0]}
    arr2[${#arr2[@]}]=${arr[1]}
done < nowcoder.txt

echo ${arr1[@]}
echo ${arr2[@]}

12.打印每一行出现的数字个数

# 方法 1
awk '{for(i=1; i<NF; i++) {if($i >= 1 && $i <= 5) sum+=1}END {print sum}}'
# 方法 2
awk -F "[1,2,3,4,5]" 'BEGIN{sum=0}{print "line"NR \
"number:"(NF-1);sum+=(NF-1)}END{print "sum is "sum}' nowcoder.txt

# 方法 3
let linecount=0
let sum=0
let count=0 
while read line
do
    for (( i=0; i<${#line};i++ ))
    do
        if [[  ${line:$i:1} =~ [1-5] ]]
        then
            (( count = count + 1 ))
        fi
    done
    linecount=$(($linecount+1))
    echo "line$linecount number:$count"
    sum=$(($sum+$count))
    count=0
done<nowcoder.txt
echo "sum is $sum"

13.去掉所有包含this的句子

# 方法 1
awk '{flag=0;
    for(i=1; i<=NF; i++) {
        if ($i == "this"){
            flag=1;
        }
    } 
    if (flag != 1) {
        print $0;
        flag=0;
    }
}' nowcoder.txt

# 方法 2
grep -v this nowcoder.txt

# 方法 3
sed '/this/d' nowcoder.txt

# 方法 3
awk '$0!~/this/ {print $0}'

# 方法 5
awk '{
     if ($0 !~ /this/) {
         print $0
     }
}'

14.求平均值

# 方法 1
awk '{
    if(NR==1) {
        N=$1
    } else {
        sum+=$1
    }
} END {
    printf("%.3f", sum/N)
    }'

# 方法 2 bash xx.sh nowcoder.txt
read loop
sum=0
count=0
for((i=0; i < $loop; ++i)); do
    read temp
    (( sum += temp))
    ((++count))
done
echo "scale=3;$sum/$count" | bc

15.去掉不需要的单词

# 方法 1
awk '{
    for (i=1; i<=NF; i++) {
        if ($i ~ /.*[bB]+.*/) {
            continue
        } else {
            print $i
        }   
    }
}'
# 方法 2
awk '/!*[B|b]*/ {print $0}'

16.判断输入的是否为IP地址

# 方法 1
awk '{
    if ($0 ~ /^((25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9][0-9]|[0-9])\.){3}(25[0-5]|2[0-4][0-9]|1[09][0-9]|[1-9][0-9]|[0-9])$/) {
        print("yes");
    } else if ($0 ~ /[[:digit:]].[[:digit:]].[[:digit:]].[[:digit:]]/){
        print("no");
    } else {
        print("error")
    }
}' nowcoder.txt

# 方法 2
awk -F '.' '{
    if (NF == 4) {
        for (i = 1; i < 5; i++) {
            if ($i > 255 || $i < 0) {
                print("no")
                break
            }
        }
        if (i == 5) {
            print("yes")
        } else {
            print("error")
        }
    }
    
}' nowcoder.txt

# 方法 3
IFS='.'
while read line; do
    arr=(${line})
    if [ ${#arr[*]} -ne 4 ]; then
        printf "error\n"
    else
        for ((i = 0; i < ${#arr[*]}; i++)); do
            if [ ${arr[${i}]} -gt 255 ]; then
                printf "no\n"
                break
            fi
            done
        [ $i == 4 ] && printf "yes\n"
    fi
done

17.将字段逆序输出文件的每行

awk -F ":" '{
    for(i = NF; i >=1; i--) {
        printf("%s", $i)
        if (i != 1) {
            printf(":")
        }
    }
    print ""
}' nowcoder.txt

18.域名进行计数排序处理

awk -F "/" '{
    arr[$3]++
} END {
    for (i in arr) {
        printf("%d %s\n", arr[i], i)
    }
}' | sort -r

19.打印等腰三角形

awk 'BEGIN{
    for(n = 1; n <= 5; n++){
        row = "";
        for(i = 1;i <= 5 - n; i++){
            row = row " "
        }
        for(i = 1; i <= n; i++){
            row = row "*" " "
        }
        print row
    }
}'

20.打印只有一个数字的行

# 方法 1
awk -F "[0-9]" '{if(NF==2) print $0}' nowcoder.txt
# 方法 2
while read line
do
    let count=0
    for (( i = 0; i < ${#line}; i++))
        do
            [[ ${line:i:1} =~ [0-9] ]] && ((count++))
        done
    if [ $count -eq 1 ];then
        printf "$line\n"
    fi
done < nowcoder.txt
# 方法 3
awk -F "" '{
    for (i = 1; i <= NF; i++) {
        if ($i ~ /[0-9]/) {
            count++
        }
    }
    if (count == 1) {
        print($0)
    }
    count = 0
}'

21.格式化输出

# 方法 1
awk -F "" '{
    k=0
    for (i=NF; i>0; i--) {
        k++
        str = sprintf("%s%s", $i, str)
        if (k%3 == 0 && i>=2 && NF > 3) {
            str = sprintf(",%s", str)
        }
    }
    print(str)
    str=""
}'
# 方法 2
awk 'BEGIN{FS=""}{
    for(i=1;i<=NF;i++) {
    if((NF-i)%3==0 && i!=NF) printf $i",";else printf $i};printf "\n"}' nowcoder.txt

22.格式化输出

# 方法 1
awk -F ":" '{res[$1] = (res[$1] == "" ? $2 : (res[$1] "\n" $2))
 }END{
     for(k in res){
         print "["k"]"
         print res[k]
     }
}'

# 方法 2
declare -A map
while read line
    do
        arr=(${line/:/ })
		 map["${arr[0]}"]="${map["${arr[0]}"]}${arr[1]}\n"
    done < nowcoder.txt
k=0
for i in ${!map[*]}
    do
        [ $k -eq 0 ] && k=1 && tmp="[$i]\n${map[$i]}" && continue
        printf "[$i]\n${map[$i]}"
    done
printf "$tmp"

# 方法 3
declare -A map
while read line; do
arr=(${line/:/ })
    if [ map["${arr[0]}"] ]; then
        map["${arr[0]}"]=${map["${arr[0]}"]}"\n"${arr[1]}
    else
        map["${arr[0]}"]=${arr[1]}
    fi
done < nowcoder.txt
declare -a tmp
tmp+=$(${!map[*]} | tr ' ' '\n' | sort -n)

for i in $(echo ${!map[*]} | tr ' ' '\n' | sort -n); do
    printf "[$i]"
    printf "${map[$i]}\n"
done

23.nginx日志分析1-IP统计

# 方法 1
awk '{
    if(substr($4, 2, 11) == "23/Apr/2020") {
        res[$1]++;
    }
}END {
    for(k in res) {
        print res[k] " " k
    }
}' | sort -nr -k 1 -t " "

# 方法 2
awk '{
    if ($4 ~ /\[23\/Apr\/2020.*/) {
        res[$1]++;
       
    }
}END {
    for(k in res) {
        print res[k] " " k
    }
}' | sort -nr -k 1 -t " "

24.nginx日志分析2-统计某个时间段的IP

# 方法 1
awk '{
    if ($0 ~ /\[23\/Apr\/2020:2[0-2]/) {
        a[$1]=1
    } 
} END {
    print (length(a))
}'
# 方法 2
grep "23/Apr/2020" | cut -c '-12' | sort -u | wc -l

# 方法 3
declare -A map
while read line
    do
        a=($line)
        [[ ${a[3]} =~ 23/Apr/2020:2[0-2] ]] && ((map["${a[0]}"]=0))
    done < nowcoder.txt
printf "${#map[*]}"

25.nginx日志分析3-统计访问3次以上的IP

# 方法 1
awk '{
    map[$1]++
} END {
    for (i in map) {
        if (map[i] > 3) {
            printf ("%d %s\n", map[i], i)
        } 
    }
}' nowcoder.txt | sort -rn -k1 -t " "

# 方法 2
declare -A map
while read line; do
    tmp=($line)
        ((map[$tmp[1]]+=1))
done < nowcoder.txt
declare -a tmpArray
tmp=0
index=0
for (j=0; j<=3;j++); do
    for i in ${!map[*]}; do
        if [ ${map[i]} gt tmp ]; then
            tmp=${map[i]}
            index=i
        fi
    done
    tmpArray[index]=tmp
    unset map[index]
    tmp=0
    index=0
done    

# 方法 3
sort -rn -k1 tmp.txt

26.nginx日志分析4-查询某个IP的详细访问情况

# 方法 1
awk '{
    if ($1 == "192.168.1.22") {
        a[$7]++
    }
} END {
    for (i in a){
        printf("%d %s\n",a[i], i)
    }
}' | sort -r

27.nginx日志分析5-统计爬虫抓取404的次数

# 方法 1
while read line
    do
        a=($line)
        [ ${a[8]} == "404" ] && [ ${a[14]} == '+http://www.baidu.com/search/spider.html)"' ] && ((b++))
    done < nowcoder.txt
printf $b

# 方法 2
awk '{
    if ($9 == "404" && $15 ~/baidu/) {
        k++
    }
} END {
    print(k)
}'

# 方法 3
grep "baidu" |grep 404|wc -l

28.nginx日志分析6-统计每分钟的请求数

awk -F ":" '{
    a[sprintf("%s:%s", $2, $3)]++
} END {
    for (i in a) {
        printf("%d %s\n", a[i], i)
    }
}' | sort -r

29.netstat练习1-查看各个状态的连接数

# 方法 1
awk '{
    if ($1 == "tcp") {
        arr[$6]++
    }
} END {
    for (i in arr) {
        printf("%s %d\n", i, arr[i])
    }
}' | sort -nrk2

# 方法 2
declare -A map
while read line
    do
        tmp=($line)
        [ ${tmp[0]} == "tcp" ] && ((map["${tmp[5]}"]++))
    done < nowcoder.txt
function InsertSort(){
    tmp=()
    for ve in ${map[*]}
        do
            tmp[${#tmp[*]}]=$ve
        done
    q=${#tmp[*]}
    for ((i=0;i<$q;i++))
        do
            for ((j=$i+1;j<$q;j++))
                do
                    if [ ${tmp[$i]} -lt ${tmp[$j]} ];then
                        t=${tmp[$i]}
                        tmp[$i]=${tmp[$j]}
                        tmp[$j]=$t
                    fi
                done
        done
}
InsertSort
for ((i=0; i<q; i++))
    do
        for ve in ${!map[*]}
            do
                if [ ${tmp[$i]} -eq ${map[$ve]} ];then
                    printf "$ve ${map[$ve]}\n"
                fi
            done
    done

30.netstat练习2-查看和3306端口建立的连接

awk '{
if($0 ~"3306"){
    if($6=="ESTABLISHED"){
        a[$5]++
    }

}}
END {
for(i in a){
    print a[i],i
}
}' | sed 's/:3306//' | sort -nr -k1

31.netstat练习3-输出每个IP的连接数

awk '{
    if ($1 == "tcp") {
        split($5, a, ":")
        t[a[1]]++
    }
} END {
    for (i in t){
        printf("%s %d\n", i, t[i])
    }
}' | sort -nrk2

32.netstat练习4-输出和3306端口建立连接总的各个状态的数目

awk '{
    if ($1 == "tcp" && $5 ~ /3306/) {
        if ($6 == "ESTABLISHED") {
            es++
        }
        ans++
        arr[$5]=0
    }
} END {
    printf("TOTAL_IP %d\nESTABLISHED %d\nTOTAL_LINK %d", length(arr), es, ans)
}'

33.业务分析-提取值

awk '{
    if ($0 ~ /Server version/) {
        sub(/.*:/, "", $0)
        printf("serverVersion:%s\n", $0)
        next
    }
    if ($0 ~ /Server number/) {
        sub(/.*:/, "", $0)
        printf("serverName:%s\n", $0)
        next
    }
    if ($0 ~ /OS Version/) {
        sub(/.+Name:/, "", $0)
        t=$0
        sub(/,.*/, "", $0)
        sub(/.*:/, "", t)
        printf("osName:%s\nosVersion:%s", $0, t)
        exit
    }
}'

34.ps分析-统计VSZ,RSS各自总和

awk '{
    v += $5
    r += $6
} END {
    printf("MEM TOTAL\nVSZ_SUM:%0.1fM,RSS_SUM:%0.3fM", v/1024, r/1024)
}'
西柚云
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bash脚本练习
Kasumi_yuki的博客
05-10 910
1.创建三个用户，并计算三个uid之和 2.判断用户不存在时，则创建用户 3.通过命令行参数给定两个数字，输出其中较大的数值 通过命令行参数给定一个用户名，判断其ID号是偶数还是奇数 4.通过命令行参数给定一个用户名，判断其ID号是偶数还是奇数 5.通过命令行参数给定两个文本文件名，如果某文件不存在，则结束脚本执行；都存在时返回每个文件的行数，并说明其中行数较多的文件 ...
Bash练习手册（一）
brokenmile的博客
09-09 436
在bash脚本中，BASH_SOURCE是一个特殊的变量，它是一个数组，其第一个元素是当前脚本的名称。看过上面的网道文档，你可能知道在bash脚本中"$0"这个脚本参数也是指脚本名称，那两者有什么区别吗？
bash练习2
yuyuyuliang00的博客
12-26 432
#!/usr/bin/bash # 生成10个随机数，并找出其中的最大值和最小值，并显示这个数组中所有元素 # 声明一个数组 declare -a rand # 声明两个变量max min declare -i max=0 declare -i min=0 for i in {0..9} do # echo $i rand[i]=$RANDOM if [ $i -eq 0 ];then min=${rand[i]} ...
bash练习3
yuyuyuliang00的博客
12-27 242
#!/usr/bin/bash # 把从命令行输入的某条命令复制到/mnt/sysroot/目录下 # 例如: /usr/bin/bash ---> /mnt/sysroot/usr/bin/bash # 输入命令cpcmd.sh，后会出现提示 prefix="/mnt/sysroot" while : do read -p "请输入一个linux命令，输入quit表示退出: " cmd if [[ "$cmd" == "quit" ]];then ...
bash练习11(创建一个用户并且设置密码)
yuyuyuliang00的博客
01-07 719
#!/usr/bin/bash # 创建一个用户，并且配置密码 # 用法：create_user username passwd if [ $# -ne 2 ] then echo "Usage:create_user username passwd" exit 1 fi uid=$(id -u) if [ $uid -ne 0 ] then echo "You are not root, cannot create user" exit 1...
bash练习5 (复制虚拟机)
yuyuyuliang00的博客
12-29 408
linux bash 从指定虚拟机复制一台相同的虚拟机
bash练习6 （虚拟机改名）
yuyuyuliang00的博客
12-30 1099
linux bash kvm虚拟机改名
bash练习14（检查一个文件是否被修改）
yuyuyuliang00的博客
01-12 402
检查一个文件是否被修改了 用法： check_file <file> <path> path是一个路径，其存储了file文件的md5码，文件名与file相同
bash练习10(获取6位随机密码)
yuyuyuliang00的博客
01-05 751
linux bash 获取6位随机密码
Linux bash练习小小的题
06-07
根据给定的信息，我们可以提取并总结出以下与Linux bash相关的知识点： ### 1. 显示当前用户和工作目录 ...下面的脚本实现了这一功能。 ```bash .../bin/bash ...对于初学者来说，这些练习是非常好的实践机会。
bash shell 练习题
01-14
Bash Shell 练习题 本资源总结了 Bash Shell 的练习题，旨在帮助用户更好地学习和掌握 Bash Shell 的使用。该资源涵盖了多个方面的知识点，包括变量、命令、文件操作、过程控制、输入输出等。 一、变量 1.1 更改 ...
BashSample:我的 Bash 基础练习
06-20
这个项目的文件列表可能包括一系列的Bash练习脚本，如简单的文件操作、条件判断、循环练习等。通过这些实例，你可以学习如何编写有效的Bash脚本来自动化日常任务。 6. **学习资源** - **man pages**：Linux系统中...
【Linux】Linux Bash Shell 教程
Young_Pro的博客
08-27 1495
Linux bash（Bourne-Again SHell）是一种为GNU操作系统编写的命令行解释器，它是大多数Linux发行版中最常用的shell。Bash提供了一种强大的方式来控制和管理操作系统，支持命令历史记录、别名、管道、重定向、变量、条件判断、循环以及自定义脚本编写等功能，使得用户能够通过简单的命令行指令执行复杂的任务，是系统管理员和开发人员日常工作中的得力工具。
bash代码片段snippets
weixin_42849849的博客
08-27 253
移除重复行按指定field排序按起始10个字符去重复od输出二进制文件数据计算文本文件每行的md5文件分割一份文件复制两次生成所有文件md5summd5sum x*ffmpeg批量提取多个视频中图像padding.pl数字列表单个字符匹配（watchteecygpath。
Linux中的常见命令——用户管理命令
qq_45569925的博客
08-27 1285
默认创建用户的时候会在home文件夹下创建一个与用户同名的文件夹【该用户的主目录】，也可以在创建用户的时候设置该用户主目录的名称。【输入的密码是不在控制台显示的，输入完之后直接按回车键即可】使用wgh用户查看root下的文件。【此时的用户是没有密码的】给创建的用户设置密码。查看某个用户是否存在。
Linux基础知识（一、什么是Linux）
心寒的博客
08-26 1869
什么是Linux Linux创始人
Linux 常用命令 - lsblk 【查看磁盘（块设备）使用情况】
随便转转
08-27 1136
lsblk源自于 “list block devices” 的缩写。这个命令用于列出系统中的所有块设备（block devices），比如硬盘、光驱等。它展示块设备的层次结构、大小和挂载点等信息，非常有助于系统管理员理解系统存储结构。
linux 系统如何进行nfs（第五节）
最新发布
weixin_44767571的博客
08-30 145
首先是 在虚拟机中的操作。然后是在开发板上的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值