该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Linux》。欢迎关注专栏~
本文知识预告:
- 首先学习了Shell脚本中的小数运算语法;
- 然后结合相关知识给出了三种题目的解决方案。
题目:SHELL8 统计所有进程占用内存百分比的和
假设 nowcoder.txt 内容如下:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.4 77744 8332 ? Ss 2021 1:15 /sbin/init noibrs splash
root 2 0.0 0.0 0 0 ? S 2021 0:00 [kthreadd]
root 4 0.0 0.0 0 0 ? I< 2021 0:00 [kworker/0:0H]
daemon 486 0.0 0.1 28340 2372 ? Ss 2021 0:00 /usr/sbin/atd -f
root 586 0.0 0.3 72308 6244 ? Ss 2021 0:01 /usr/sbin/sshd -D
root 12847 0.0 0.0 4528 68 ? S< Jan03 0:13 /usr/sbin/atopacctd
root 16306 1.7 1.2 151964 26132 ? S<sl Apr15 512:03 /usr/local/aegis/aegis_client/aegis_11_25/AliYunDun
root 24143 0.0 0.4 25608 8652 ? S<Ls 00:00 0:03 /usr/bin/atop -R -w /var/log/atop/atop_20220505 600
root 24901 0.0 0.3 107792 7008 ? Ss 15:37 0:00 sshd: root@pts/0
root 24903 0.0 0.3 76532 7580 ? Ss 15:37 0:00 /lib/systemd/systemd --user
root 24904 0.0 0.1 111520 2392 ? S 15:37 0:00 (sd-pam)
以上内容是通过ps aux
命令输出到nowcoder.txt文件中的,请你写一个脚本计算一下所有进程占用内存大小的和。
注意区分第四列和第六列的意思:
- %MEM 进程的内存占用率
- RSS 进程使用的驻留集大小或者是实际内存的大小,Kbytes字节。
最近看这道题,发现应该是牛客官方改了题目,绝大部分题解现在都不能pass掉这道题目了。事实上,题目要求的是所有进程占用内存百分比的和,这应该用第四列来计算,第六列是实际占用的内存!
相关命令学习
awk
:文本和数据进行处理的编程语言
awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 | 功能 |
---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk 命令 |
-m | 对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 | 说明 |
---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS | 设置字段分隔符,默认为空格或制表符 |
NF | 当前记录(行)的字段(列)个数 |
NR | 输入数据流的当前记录数(行号) |
OFS | 输出字段分隔符,默认为空格 |
ORS | 输出记录分隔符,默认为换行符 |
RS | 输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
例子:
- 仅显示指定文件中第1、2列的内容(默认以空格为间隔符):
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
- 以冒号为间隔符,仅显示指定文件中第1列的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd
文件中的内容由:
分隔开。
- 以冒号为间隔符,显示系统中所有UID号码大于500的用户信息(第3列):
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 仅显示指定文件中含有指定关键词
main
的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
- 以冒号为间隔符,仅显示指定文件中最后一个字段的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
- 输出行号,
NR
将所有文件的数据视为一个数据流,而FNR
则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
for
循环
实现for
循环的方式有三种:
- 带循环
list
的for
循环 - 不带循环
list
的for
循环 - C语法结果的
for
循环。
带循环list
的for
循环
- 实现一:依次输出训练
list
中的内容 【list
内容可以是数字也可以是字符串】
for item in 1 4 5 hello world
do
echo $item
done
- 实现二:依次输出一个范围内的值,如下为输出1到5的值
for item in {1..5}
do
echo $item
done
- 实现三: 设置输出的间隔值,如下为间隔2输出【也就是输出10以内的所有奇数】
for item in {1..10..2}
do
echo $item
done
- 实现四: 输出当前目录下所有的文件和文件夹
for file in $(ls)
do
echo $file
done
或者
for file in *
do
echo $file
done
不带循环list
的for
循环
将输入的参数循环输出【这里使用@
来获取参数列表】,脚本test.sh
内容如下:
lucky@DESKTOP-VQ8KID4:~$ cat param.sh
echo "input the world:"
for item in "$@"
do
echo $item
done
echo "total param : $#"
lucky@DESKTOP-VQ8KID4:~$ bash param.sh hello world
input the world:
hello
world
total param : 2
【备注】$@
获取参数列表内容; $#
获取输入参数的个数。
C语法结果的for
循环
基本是C语言的语法:
lucky@DESKTOP-VQ8KID4:~$ cat param.sh
for ((i=0;i<=10;i+=3))
do
echo $i
done
lucky@DESKTOP-VQ8KID4:~$ bash param.sh
0
3
6
9
shell脚本中的小数运算
前面讲的一些命令,都只能用于整型,计算结果只有整数,小数点后直接丢弃,比如:
expr 1 + 2
数字和符号之间必须有空格!$[1/2]
计算结果只有整数,小数点后直接丢弃$(())
计算结果只有整数,小数点后直接丢弃, 幂运算$((2**3))
前式即2的3次幂let y=2+3
/let x=y+2
/let x=${y}+2
计算结果只有整数,小数点后直接丢弃
下面来详细讲解shell中的小数运算:
使用bc
做小数运算
- 加法运算:运算结果小数点位数以加数中最大的为准
lucky@DESKTOP-VQ8KID4:~$ echo "5.999 + 25.001"|bc
31.000
lucky@DESKTOP-VQ8KID4:~$ echo "5.111 + 5.111235"|bc
10.222235
- 减法运算:运算结果小数点位数以两个数中最大的为准
lucky@DESKTOP-VQ8KID4:~$ echo "5.111 - 5.111235"|bc
-.000235
lucky@DESKTOP-VQ8KID4:~$ echo "25.111 - 5.111235"|bc
19.999765
- 乘法运算
lucky@DESKTOP-VQ8KID4:~$ echo "3.14 * 2.5" | bc
7.85
如果不指定scale
参数,乘积小数点位数默认以乘数中小数点位数最多的为准。如果使用scale
指定乘积的小数点位数时:(若实际的乘积小数点位数为 m
,乘数中小数点位数最多为 n
)
- 当
scale<n
时,scale
不起作用,乘积的小数点位数为n
; - 当
scale>=m
,乘积的小数点位数为m
,末尾不会补零; - 当
n<scale<m
时,乘积的小数点位数为scale
值。
- 除法运算
lucky@DESKTOP-VQ8KID4:~$ echo "scale=5;5 / 2"|bc
2.50000
除法中如果不指定scale
参数,则结果没有小数位,小数位数完全按scale
值来显示,计算结果的小数位数不足scale
的值,则末尾补0。
- 小数运算后赋值
lucky@DESKTOP-VQ8KID4:~$ a=3.2
lucky@DESKTOP-VQ8KID4:~$ b=1.5
lucky@DESKTOP-VQ8KID4:~$ c=`echo "scale=3;$a + $b"|bc`
lucky@DESKTOP-VQ8KID4:~$ echo $c
4.7
awk
做小数运算
awk
使用print
函数进行运算
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print '"$a"' / '"$b"'}'
1.66667
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print "'$a'" / '"$b"'}'
1.66667
建议在
awk
中引用shell变量,使用格式:"'$var'"
或者'"$var"'
awk
使用printf
函数控制运算结果的小数点位数
lucky@DESKTOP-VQ8KID4:~$ echo "$a $b" | awk '{printf("%.3f\n", $1/$2)}'
1.667
lucky@DESKTOP-VQ8KID4:~$ a=5;b=3
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{printf("%.2f\n",'$a' / '$b')}'
1.67
- 运算后变量赋值
lucky@DESKTOP-VQ8KID4:~$ c=`awk -v x=2.45 -v y=3.123 'BEGIN{printf "%.2f\n",x*y}'`
lucky@DESKTOP-VQ8KID4:~$ echo $c
7.65
题目解决方案
方法一:for
循环搭配awk
命令
利用for
循环,用变量i
来接收nowcoder.txt
文件每一行对应的数据,再利用awk
对每一行数据进行切割,输出第4块区域的数据信息。
sum=0
line=1
for i in $(awk '{print $4}' nowcoder.txt); do
if [ $line -gt 1 ]; then
sum=$(echo "$i+$sum" | bc)
fi
let line++
done
echo $sum
这里要非常注意,如果不加第四行的判断是会报错的,会把源文件中的第一行第四列的%MEM
也取出来,这就会导致后面加法出错!自己取打印看一下变量i
就知道了,这是一个坑!
同时,小数的加法,前文提到了,参照前文即可。
下面这种方法也可。
sum=0
line=1
for i in $(awk '{print $4}' nowcoder.txt); do
if [ $line -gt 1 ]; then
sum=$(awk 'BEGIN{print '"$sum"' + '"$i"'}')
fi
let line++
done
echo $sum
方法二:while
循环
和for
循环的方法一致:
sum=0
line=1
while read p; do
if [ $line -gt 1 ]; then
num=$(echo $p | awk '{print $4}')
sum=$(echo $sum+$num | bc)
fi
let line++
done <nowcoder.txt
echo $sum
方法三:awk
命令
利用awk
的强大功能,由第一行开始读写,读到最后一行结束
lucky@DESKTOP-VQ8KID4:~$ awk '{SUM+=$4}{print SUM}' nowcoder.txt
0
0.4
0.4
0.4
0.5
0.8
0.8
2
2.4
2.7
3
3.1
利用END
取出最后一个即可:
lucky@DESKTOP-VQ8KID4:~$ awk '{SUM+=$4}END{print SUM}' nowcoder.txt
3.1
类似的,还可以有如下解法:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{sum=0}{sum+=$4}END{print sum}' nowcoder.txt
3.1