该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Linux》。欢迎关注专栏~
本文知识预告:
- 首先简单学习了
rs
命令,这个命令不常用,了解即可; - 然后本文给出了五种方法,值得一提的是
xargs
命令转置的功能,以及方法四中添加数字用以排序的技巧。总的来说,这道题仍然是awk
命令的扩展。
题目:SHELL11 转置文件的内容
写一个bash脚本来转置文本文件nowcoder.txt中的文件内容。文件中每行列数相同,并且每个字段由空格分隔。假设 nowcoder.txt 内容如下:
job salary
c++ 13
java 14
php 12
你的脚本应当输出(以词频升序排列):
job c++ java php
相关命令学习
xargs
:给其他命令传参数的过滤器
xargs
命令来自于英文词组” extended arguments“的缩写,其功能是用于给其他命令传参数的过滤器。xargs
命令能够处理从标准输入或管道符输入的数据,并将其转换成命令参数,也可以将单行或多行输入的文本转换成其他格式。
xargs
命令默认接收的信息中,空格是默认定界符,所以可以接收包含换行和空白的内容。
语法格式: xargs [参数]
常用参数:
-n | 多行输出 |
---|---|
-d | 自定义一个定界符 |
-I | 指定一个替换字符串{} |
-t | 打印出xargs 执行的命令 |
-p | 执行每一个命令时弹出确认 |
参考实例
- 默认以空格为定界符,以多行形式输出文件内容,每行显示一三段内容值:
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | xargs -n 1
how
they
are
implemented
and
applied
in
computer
- 指定字符
X
为定界符,默认以单行的形式输出字符串内容:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX
First Second Third Fourth Fifth
- 定字符
X
为定界符,以多行形式输出文本内容,每行显示两段内容值:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2
First Second
Third Fourth
Fifth
- 设定每一次输出信息时,都需要用户手动确认后再显示到终端界面:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2 -p
echo First Second ?...y
First Second
echo Third Fourth ?...y
Third Fourth
echo 'Fifth'$'\n' ?...n
awk
:文本和数据进行处理的编程语言
awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 | 功能 |
---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk 命令 |
-m | 对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 | 说明 |
---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS | 设置字段分隔符,默认为空格或制表符 |
NF | 当前记录(行)的字段(列)个数 |
NR | 输入数据流的当前记录数(行号) |
OFS | 输出字段分隔符,默认为空格 |
ORS | 输出记录分隔符,默认为换行符 |
RS | 输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
例子:
- 仅显示指定文件中第1、2列的内容(默认以空格为间隔符):
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
- 以冒号为间隔符,仅显示指定文件中第1列的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd
文件中的内容由:
分隔开。
- 以冒号为间隔符,显示系统中所有UID号码大于500的用户信息(第3列):
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 仅显示指定文件中含有指定关键词
main
的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
- 以冒号为间隔符,仅显示指定文件中最后一个字段的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
- 输出行号,
NR
将所有文件的数据视为一个数据流,而FNR
则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
sort
:对文件内容进行排序
sort
命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确,一行行地手动修改实在太麻烦了。此时使用sort
命令就再合适不过了,它能够对文本内容进行再次排序。
语法格式:sort [参数] 文件
常用参数:
-b | 忽略每行前面开始出的空格字符 |
---|---|
-c | 检查文件是否已经按照顺序排序 |
-d | 除字母、数字及空格字符外,忽略其他字符 |
-f | 将小写字母视为大写字母 |
-i | 除040至176之间的ASCII字符外,忽略其他字符 |
-m | 将几个排序号的文件进行合并 |
-M | 将前面3个字母依照月份的缩写进行排序 |
-n | 依照数值的大小排序 |
-o <输出文件> | 将排序后的结果存入制定的文件 |
-r | 以相反的顺序来排序 |
-t <分隔字符> | 指定排序时所用的栏位分隔字符 |
-k | 指定需要排序的栏位 |
参考实例
对指定的文件内容按照字母顺序进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat fruits.txt
watermelon
apple
blackberry
fig
kiwi
lemon
grapefruit
pineapple
banana
orange
lucky@DESKTOP-VQ8KID4:~$ sort fruits.txt
apple
banana
blackberry
fig
grapefruit
kiwi
lemon
orange
pineapple
watermelon
对指定的文件内容按照数字大小进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat num.txt
32
2
56
321
33
22
1
45
lucky@DESKTOP-VQ8KID4:~$ sort -n num.txt
1
2
22
32
33
45
56
321
以冒号:
为间隔符,对指定的文件内容按照数字大小对第3列进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat /etc/passwd | sort -t : -k 3 -n
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
...
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
uniq
:去除文件中的重复内容行
uniq
命令来自于英文单词unique的缩写,中文译为独特的、唯一的,其功能是用于去除文件中的重复内容行。uniq
命令能够去除掉文件中相邻的重复内容行,如果两端相同内容中间夹杂了其他文本行,则需要先使用sort
命令进行排序后再去重复,这样保留下来的内容就都是唯一的了。
划重点:去除相邻重复内容行!
语法格式:uniq [参数] 文件
常用参数:
-c | 打印每行在文本中重复出现的次数 |
---|---|
-d | 每个重复纪录只出现一次 |
-u | 只显示没有重复的纪录 |
参考实例
- 对指定的文件进行去重操作:
lucky@DESKTOP-VQ8KID4:~$ cat test.txt
nowcoder
nowcoder
nowcoder
to
welcome
welcome
lucky@DESKTOP-VQ8KID4:~$ uniq test.txt
nowcoder
to
welcome
- 统计相同内容行在文件中重复出现的次数:
lucky@DESKTOP-VQ8KID4:~$ uniq -c test.txt
3 nowcoder
1 to
2 welcome
- 仅显示指定文件中存在一模一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -d test.txt
nowcoder
welcome
- 仅显示指定文件中没有存在一摸一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -u test.txt
to
tr
:字符转换工具
tr
命令来自于英文单词transform的缩写,中文译为转换,其功能是用于字符转换。tr
命令是一款批量字符转换、压缩、删除的文本工具,但仅能从标准输入中读取文本内容,需要与管道符或输入重定向操作符搭配使用。
语法格式:tr [参数] 字符串1 字符串2
常用参数:
-c | 反选字符串1的补集(取反) |
---|---|
-d | 删除字符串1中出现的所有字符 |
-s | 删除所有重复出现的字符序列 |
将指定文件中的小写字母转换成大写字母后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC
删除指定文件中所有的数字后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr -d [0-9] < hello.py
abc
aaa
bbb
ccc
将指定文件中的多个相邻空行去重后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc
rs命令*
仅作了解即可。
rs
:reshape a data array
rs
读取标准输入,将每行解释为数组中一行空白的分隔条目,根据选项转换数组,并将其写入标准输出。无参数时,它将流输入转换为便于终端查看的列格式,即如果长度(以字节为单位!).
-c[x] | Input columns are delimited by the single character x. A missing x is taken to be ‘^I’. |
---|---|
-T | Print the pure transpose of the input, ignoring any rows or cols specification. |
-z | Shrink column widths to fit the largest entries appearing in them. |
具体细节,可以输入以下命令查看:
man rs
题目解决方案
方法一:简单粗暴的方法
a=$(cat nowcoder.txt | awk '{print $1}')
b=$(cat nowcoder.txt | awk '{print $2}')
echo $a
echo $b
方法二:awk
+xargs
转置
cNum=$(awk '{print NF}' nowcoder.txt | uniq)
for i in $(seq 1 $cNum); do
cat nowcoder.txt | awk -v var=$i '{print $var}' | xargs
done
拆分步骤:
- 求出文件中的内容一共有多少列:
lucky@DESKTOP-VQ8KID4:~$ awk '{print NF}' nowcoder.txt | uniq
2
- 对于每一列,使用
xargs
命令输出,就可达到了转置的目的
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | awk -v var=1 '{print $var}' | xargs
job c++ java php
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | awk -v var=2 '{print $var}' | xargs
salary 13 14 12
- 然后遍历每一列的内容,将遍历得到的内容,按上面的方式输出即可:
cNum=$(awk '{print NF}' nowcoder.txt | uniq)
for i in $(seq 1 $cNum); do
cat nowcoder.txt | awk -v var=$i '{print $var}' | xargs
done
方法三:awk
命令搭配for
循环
lucky@DESKTOP-VQ8KID4:~$ awk '{for(i=1;i<=NF;i++) a[i]=a[i]$i" "}END{for(x in a) print a[x]}' nowcoder.txt
job c++ java php
salary 13 14 12
方法四:awk
+sort
+tr
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n" | sort -n | awk -F "," '{print $2}' | tr "\n" " " | awk -F" " '$5="\n"$5'
job c++ java php
salary 13 14 12
拆分步骤:
- 在每一个字符串前面加一个数据用于排序
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt
1.1,job 2.1,salary
1.2,c++ 2.2,13
1.3,java 2.3,14
1.4,php 2.4,12
- 把数据拉长成一列
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n"
1.1,job
2.1,salary
1.2,c++
2.2,13
1.3,java
2.3,14
1.4,php
2.4,12
- 对上面的数据,按第一列的数字进行排序
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n" | sort -n
1.1,job
1.2,c++
1.3,java
1.4,php
2.1,salary
2.2,13
2.3,14
2.4,12
- 按照
,
分隔出两列,提取出第二列
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n" | sort -n | awk -F "," '{print $2}'
job
c++
java
php
salary
13
14
12
- 把所有内容排成一行
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n" | sort -n | awk -F "," '{print $2}' | tr "\n" " "
job c++ java php salary 13 14 12
- 以空格为分隔符,在第五列处进行换行
lucky@DESKTOP-VQ8KID4:~$ awk '$1="1."NR","$1,$2="2."NR","$2' nowcoder.txt | tr " " "\n" | sort -n | awk -F "," '{print $2}' | tr "\n" " " | awk -F" " '$5="\n"$5'
job c++ java php
salary 13 14 12
方法五:rs
(拓展方法)
这个命令牛客没有哈,自己知道就行。
lucky@DESKTOP-VQ8KID4:~$ rs -Tzc' ' < nowcoder.txt
job c++ java php
salary 13 14 12