Linux shell 练习

已于 2022-05-04 22:05:36 修改
阅读量561 收藏
点赞数
分类专栏： Linux运维 文章标签： awk shell 日志分析 Linux 牛客网
于 2022-04-28 15:02:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gyqailxj/article/details/124474168
版权
wc -l   +文件名     显示文件行数
head -5    +文件名 显示文件前5行
tail -5  +文件名  显示文件后5行
sed -n '5,20p' +文件名   显示文件中间一段 
输出固定间隔的数字
seq 0 7 500
打印指定文件第五行
sed -n 5p    +文件名
打印空行的行号
awk '/^\s*$/{print NR}' +文件名
去掉空行
awk -n '{if($0 != "")print $0}' + 文件名
统计一个文本文件 nowcoder.txt中字母数小于8的单词
 nowcoder.txt 内容如下：
how they are implemented and applied in computer  
awk -F" " '{
    for(i=1;i<=NF;i++){
        if(length($i)<8){
            print $i
            }
        }
    }' nowcoder.txt

统计所有进程占用内存大小的和
假设 nowcoder.txt 内容如下：
root         2  0.0  0.0      0     0 ?        S    9月25   0:00 [kthreadd]
root         4  0.0  0.0      0     0 ?        I<   9月25   0:00 [kworker/0:0H]
web       1638  1.8  1.8 6311352 612400 ?      Sl   10月16  21:52 test
web       1639  2.0  1.8 6311352 612401 ?      Sl   10月16  21:52 test
tangmiao-pc       5336   0.0  1.4  9100240 238544   ??  S     3:09下午   0:31.70 /Applications
以上内容是通过ps aux | grep -v 'RSS TTY' 命令输出到nowcoder.txt文件下面的 
sum=0
    for i in `awk '{print $6}' nowcoder.txt`
    do
        ((sum+=$i))
        done
    echo $sum

统计每个单词出现的个数
示例:
假设 nowcoder.txt 内容如下：
welcome nowcoder
welcome to nowcoder
nowcoder
你的脚本应当输出（以词频升序排列）：
to 1 
welcome 2 
nowcoder 3  
awk '{
    for(i=1;i<=NF;i++)
        a[$i]+=1
    }
END{
    for(x in a)
        print x,a[x]
}' nowcoder.txt

第二列是否有重复
文件内容
20201001 python 99
20201002 go 80
20201002 c++ 88
20201003 php 77
20201001 go 88
20201005 shell 89
20201006 java 70
20201008 c 100
20201007 java 88
20201006 go 97 
awk '{a[$2]+=1}END{
    for(x in a){
        if(a[x]>1)
            print a[x],x
    }
}' nowcoder.txt
转置文件的内容
nowcoder.txt
job salary
c++ 13
java 14
php 12 
awk '{
    for(i=1;i<=NF;i++){
        if(NR==1){
            row[i]=$i;
        }else{
            row[i]=row[i]" "$i;
        }
    }
}END{
    for(i=1;i<=NF;i++){
        print row[i]
    }
}' nowcoder.txt
打印每一行出现的数字个数
1、统计一个文本文件 nowcoder.txt中每一行 出现的1,2,3,4,5数字个数 。
2、并且要计算一下整个文档中一共出现了 几个 1,2,3,4,5数字 数字总数 。
  nowcoder.txt
a12b8
10ccc
2521abc
9asf 
#/bin/bash
linecount=0
sum=0
count=0

while read line
do
    for(( i=0;i<${#line};i++ ))
    do
        if [[  ${line:$i:1} =~ [1-5] ]]
        then
            count=$(($count+1))
        fi
    done
    linecount=$(($linecount+1))
    echo "line$linecount number:$count"
    sum=$(($sum+$count))
    count=0
    
    done<nowcoder.txt
    echo "sum is $sum"
求输入的一个的数组的平均值
第1行为输入的数组长度N
第2~N行为数组的元素，如以下为:
数组长度为4，数组元素为1 2 9 8
示例:
4
1
2
9
8 
awk '{if(NR==1){
    N=$1
    }
    else{
        sum+=$1
    }   
} END{printf ("%.3f",sum/N) }'
去掉不需要的单词
写一个 bash脚本以实现一个需求，去掉输入中的含有B和b的单词
示例:
假设输入如下：
big
nowcoder
Betty
basic
test 
awk '{
    for (i=1;i<=NF;i++)
        if ($i ~ /.*[bB]+.*/ )
        {
            continue
        }else {
            print $i
        }  
}'
判断输入的是否为IP地址 
awk '{
    if($0~/^((25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{0,2})\.){3}(25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{0,2})$/)
        print "yes"
     else if($0~/^([0-9]*\.){3}[0-9]*$/)
        print "no"
    else
        print "error"
}' nowcoder.txt
去掉所有包含this的句子
假设输入如下：
that is your bag
is this your bag?
to the degree or extent indicated.
there was a court case resulting from this incident
welcome to nowcoder 
awk '$0!~/this/ {print $0}'
将文件的每行字段逆序输出 
awk -F ":" '{
    a[NR]=$NF;
    for(i=NF-1;i>0;i--)
        a[NR]=a[NR]":"$i}
END{
    for(k in a)
        print a[k]
    }
' nowcoder.txt

域名进行计数排序处理
将域名取出并根据域名进行计数排序处理。
nowcoder.txt
http://www.nowcoder.com/index.html
http://www.nowcoder.com/1.html
http://m.nowcoder.com/index.html 
awk -F '/' '{print $3}' nowcoder.txt |sort |uniq -c |sort -r |awk '{print $1" "$2}'
打印等腰三角形 
awk 'BEGIN{
    for(n=1;n<=5;n++){
        row="";
        for(i=1;i<=5-n;i++){
            row=row " "
        }
        for(i=1;i<=n;i++){
            row=row "*" " "
        }
        print row
    }
}'
打印只有一个数字的行
现在需要你写脚本，打印只有一个数字的行。
假设nowcoder.txt内容如下
haha
1
2ab
cd
77 
awk '/(^[0-9]([a-z]+)$)|(^[a-z]*[0-9]$)|(^[a-z][0-9][a-z]$)/'
格式化输出
有一个文件nowcoder.txt，里面的每一行都是一个数字串，假设数字串为“123456789”，那么我们要输出为123,456,789。
假设nowcoder.txt内容如下
1
12
123
1234
123456 
awk '{
l=length($0)
f=l%3
for (i=1;i<=l;i++){
    printf substr($0,i,1)
    if((i-f)%3==0 && i!=l)
        printf ","
}
print ""
}' nowcoder.txt

处理文本
有一个nowcoder.txt，假设里面的内容如下
111:13443
222:13211
111:13643
333:12341
222:12123 
awk -F ":" '{
    a[$1]=a[$1]$2 "\n"
}
END {
for (i in a){
    printf("[%s]\n%s",i,a[i])
    }
}' nowcoder.txt

nginx的日志我们存储在nowcoder.txt里， 要你统计出2020年4月23号的访问ip次数，并且按照次数降序排序。
192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
........ 
awk '{
    if ($4 ~ /\[23\/Apr\/2020.*/){
        res[$1]++;
    }
}END{
    for(k in res) {
        print res[k] " " k
    }
}' nginx.txt | sort -nr -k 1 -t " "

nginx日志分析2-统计某个时间段的IP
192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0" 
awk '{
    if ($0 ~ /23\/Apr\/2020:2[0-2]/){
        a[$1]=0
    }
}END{
    print(length(a))
}' nginxIp.txt
nginx日志分析4-查询某个IP的详细访问情况
192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0" 
awk '$1=="192.168.1.22"{a[$7]++}END{for(i in a){print a[i],i}}' | sort -r

nginx日志分析5-统计爬虫抓取404的次数
192.168.1.20 - - [21/Apr/2020:14:12:49 +0800] "GET /1/index.php HTTP/1.1" 301 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:00:49 +0800] "GET /2/index.php HTTP/1.1" 500 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0" 
grep 'http://www.baidu.com/search/spider.html' +文件名 | grep -c 404

nginx日志分析6-统计每分钟的请求数， 并且按照请求数降序排序
192.168.1.20 - - [21/Apr/2020:14:12:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:00:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0" 
awk '{print $4}' nowcoder.txt| awk -F: '{print $2":"$3}'| awk '{a[$0]++}END{for(k in a)
    print a[k],k}'| sort -k 1 -r

netstat练习1-查看各个状态的连接 数, 并且按照连接数降序输出。
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:6160            0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
tcp        0      0 172.16.56.200:41856     172.16.34.144:3306      ESTABLISHED
tcp        0      0 172.16.56.200:49822     172.16.0.24:3306        ESTABLISHED
tcp        0      0 172.16.56.200:49674     172.16.0.24:3306        ESTABLISHED
tcp        0      0 172.16.56.200:42316     172.16.34.144:3306      ESTABLISHED
.... 
awk '{
    if($NF ~ /ESTABLISHED/ || $NF ~ /LISTEN/ || $NF ~ /TIME_WAIT/)
    {
        a[$NF]++
    }}
END{
    for(i in a)print i" "a[i]
}' +文件名 | sort -nrk2

netstat练习2-查看和3306端口建立的连接
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:6160            0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
tcp        0      0 172.16.56.200:41856     172.16.34.144:3306      ESTABLISHED
tcp        0      0 172.16.56.200:49822     172.16.0.24:3306        ESTABLISHED
tcp        0      0 172.16.56.200:49674     172.16.0.24:3306        ESTABLISHED 
   awk '{if($5~/3306$/ && $6=="ESTABLISHED") print $5}' nowcoder.txt|
   awk -F: '{a[$1]++}
   END{for(k in a)
   print a[k],k}'| sort -k 1 -n -r
netstat练习3-输出每个IP的连接数 
awk '{
    if($1~ /tcp/){
    a[$5]++
}}
END{
    for(i in a){
    print i" "a[i]
    }
}' | awk -F"[: ]" '{print $1" "$3}' | sort -nrk2

netstat练习4-输出和3306端口建立连接总的各个
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:6160            0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
tcp        0      0 172.16.56.200:41856     172.16.34.144:3306      ESTABLISHED
tcp        0      0 172.16.56.200:49822     172.16.0.24:3306        ESTABLISHED

ps分析-统计VSZ,RSS各自总和

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.1  37344  4604 ?        Ss    2020   2:13 /sbin/init
root       231  0.0  1.5 166576 62740 ?        Ss    2020  15:15 /lib/systemd/systemd-journald
root       237  0.0  0.0      0     0 ?        S<    2020   2:06 [kworker/0:1H]
..... 
awk '{
    sum_vsz=sum_vsz + $5;sum_rss=sum_rss + $6
}
END{
    print("MEM TOTAL \n" "VSZ_SUM:" sum_vsz/1024 "M," "RSS_SUM:" sum_rss/1024 "M")
}'

#随机获取8位字符— md5sum 
echo $RANDOM |md5sum |cut -c 1-8
#随机获取8位数字 
echo $RANDOM |cksum |cut -c 1-8
黑马金牌编程
关注
专栏目录
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4371
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
这是linux之shell练习的题目
04-01
### Linux Shell 脚本基础与实践 #### 一、Linux 下执行 Shell 脚本的方式 Shell 脚本是 Linux 和 Unix 系统中非常重要的组成部分，它允许用户通过编写一系列命令来自动化复杂的任务。执行 Shell 脚本有两种主要...
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 827
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
牛客Shell篇
Today_2018的博客
03-15 350
SHELL1统计文件的行数 awk '{print NR}' nowcoder.txt | tail -n1 SHELL2打印文件的最后5行 tail -n5 SHELL3输出7的倍数 #!/bin/bash for i in {0..500} do if [[ i%7 -eq 0 ]] then echo $i fi done SHELL4输出第5行的内容 head nowcoder.txt -n5 | tail -n1 SHELL5打印空行的行号 awk '{if($0==""){pri
linux shell脚本学习
热门推荐
weixin_55418082的博客
01-23 1万+
​ Shell脚本通常都是以.sh 为后缀名的，这个并不是说不带.sh这个脚本就不能执行，只是大家的一个习惯而已。在脚本中，您会不会奇怪，哪里来的$1和$2，这其实就是shell脚本的预设变量，其中$1的值就是在执行的时候输入的1，而$2的值就是执行的时候输入的$2，当然一个shell脚本的预设变量是没有限制的，这回您明白了吧。实际上，shell脚本在执行的时候后边是可以跟参数的，而且还可以跟多个。上面的结构中，不限制value的个数，*则代表除了上面的value外的其他值。
linux之shell脚本练习
TSC1235的专栏
10-16 1086
bin/bashi=0while truedothenbreakfilet i++done[ $doing = no ] 等价于[ $doing = "no" ] , = 是判断字符串的，对于纯字符串所以加不加引号都可。
shellpool:练习 Linux Shell
07-03
练习 Linux Shell 脚本（这里只使用 #!/bin/bash） 笔记： #! -- sha-bang, a two-byte magic number, the command interpreter indicated, the file command identifies the type of a file using #!/bin/env...
LINUX SHELL命令练习题
09-01
LINUX SHELL 命令练习题 本次练习题涵盖了 LINUX SHELL commands 的多个方面，包括文件类型的确定、文件权限的修改、目录管理、文件重命名、系统初始化信息、系统启动级别的切换、后台执行程序、vi 编辑器的使用等...
linux中shell练习-习题5
04-01
### Linux中Shell练习-习题5 #### 一、Linux 下执行 Shell 脚本的方式 在 Linux 系统中，执行 Shell 脚本有两种主要的方法：通过 shell 程序来执行脚本和直接执行脚本。 ##### 1. 通过 shell 程序执行脚本 这种...
linux shell命令的常用快捷键
09-15
### Linux Shell 命令的常用快捷键详解 在日常工作中，熟练掌握 Linux Shell 的快捷键可以极大地提高我们的工作效率。本文将详细介绍 Linux Shell 中的一些常用快捷键及其应用场景，帮助大家更好地利用这些快捷键来...
shell脚本练习
09-23
自己学习时联系的一些shell脚本。shell脚本练习
福州大学linux作业：编写一个Bash脚本，它可以打印出下面的菜单，并提示输入一个字符来选择其中的一个选项，菜单如下。。。
12-03
福州大学linux作业：编写一个Bash脚本，它可以打印出下面的菜单，并提示输入一个字符来选择其中的一个选项，菜单如下。。。
shell编程题目练习
09-11
shell编程题目练习，练习基本的shell编程，学习脚本语言，提高效率
Linux shell脚本100道练习题（每日更新）
最新发布
lmh1181243468的博客
04-28 1928
请生成日期格式为yyyy-MM-dd的日志文件，每日生成一个文件， 例如生成的文件名为2024-04-28.log， 并且把磁盘的使用情况写到到这个文件中，同时将文件放到指定目录中，并删除一年前的日志记录；不用考虑cron，仅仅写脚本即可。为了加强和巩固自身对linux shell脚本的熟悉程度，通过100道练习题强化shell能力，同时分享自己的劳动成果给很多需要提升脚本能力的朋友，大家一起共同进步；
Linux脚本练习之script073-去掉不需要的单词
二木成林
07-19 357
写一个 bash脚本以实现一个需求，去掉输入中的含有 B 和 b 的单词。
shell练习题（牛客网15道题）
qiao_qing的博客
06-02 1540
文章目录1.写一个 bash脚本以输出一个文本文件 nowcoder.txt中的行数2.经常查看日志的时候，会从文件的末尾往前查看，于是请你写一个 bash脚本以输出一个文本文件 nowcoder.txt中的最后5行3.写一个 bash脚本以输出数字 0 到 500 中 7 的倍数(0 7 14 21...)的命令4.写一个 bash脚本以输出一个文本文件 nowcoder.txt 中第5行的内容。5.写一个 bash脚本以输出一个文本文件 nowcoder.txt中空行的行号,可能连续,从1开始6.写一.
SHELL 基础篇
withoutfear的博客
03-02 3383
SHELL1 统计文件的行数 写一个 bash脚本以输出一个文本文件 nowcoder.txt中的行数 示例: 假设 nowcoder.txt 内容如下： #include<iostream> usingnamespacestd; intmain() { inta=10; intb=100; cout<<"a+b:"<<a+b<<endl; return0; } line...
Linux脚本练习之script092- 判断输入的是否为IP地址
二木成林
10-24 1万+
写一个脚本统计文件nowcoder.txt中的每一行是否是正确的IP地址。 - 如果是正确的IP地址输出：yes - 如果是错误的IP地址，四段号码的话输出：no，否则的话输出：error
shell例题-15道来自牛客网
wnccmyr的博客
11-16 1637
题目描述 写一个 bash脚本以统计一个文本文件 nowcoder.txt中字母数小于8的单词。 示例:假设 nowcoder.txt 内容如下： how they are implemented and applied in computer 你的脚本应当输出： how they are and applied in 说明:不要担心你输出的空格以及换行的问题 cat nowcoder.txt | awk '{ for (i=1;i<=NF;i++){ if ..
linux shell脚本练习
08-09
- *1* [Linux shell脚本练习题汇总](https://blog.csdn.net/qq_47867028/article/details/121629952)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑马金牌编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值