shell--工具（sort、uniq 、tr、cut）

于 2022-08-11 00:49:56 发布
阅读量186 收藏
点赞数
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71438279/article/details/126276870
版权

目录

一、sort工具

1.语法格式

2.常用的选项

 3.sort举例

二、uniq工具

 三、tr工具

四、cut-列截取工具

一、sort工具

sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。

1.语法格式

sort 选项 文件

2.常用的选项

-f：忽略大小写

-b：忽略每行前面的空格

-M：按照月份进行排序 -n：按照数字进行排序

-r：反向排序

-u：等同于uniq，表示相同的数据仅显示一行

-t：指定分隔符，默认使用[Tab]键分隔

-o：<输出文件>：将排序后的结果转存至指定文件

-k：指定排序区域

 3.sort举例

不加任何选项
不加任何选项默认按第一列升序，字母的话就是从a到z由上而下显示

 以冒号进行分隔，按数字排序对第三列进行排序

 将输出结果不在屏幕上输出，而是输出在passwd.bak文件

 去重（-u）

 

二、uniq工具

主要用于去除连续的重复行

注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

uniq [选项]  参数

-c：进行计数

-d：仅显示重复行

-u：仅显示出现一次的行

 uniq举例

不加任何选项表示去掉连续的重复的行然后输出结果

 

 对重复的行进行计数并显示

先用sort命令进行排序，再统计字符出现的行数

不然会将不连续的相同数值次数进行输出

 

 三、tr工具

  • 它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
  • 从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。

格式

tr [选项]… SET1 [SET2]
  • 1

常用选项

-d 删除字符
 
-s 删除所有重复出现的字符，只保留第一个

 

 将passwd.bak文件中的所有小写转换成大写

 将bin替换成abc，就是将b替换成a，i替换成b，n替换成c

 删除所有字母

 

四、cut-列截取工具

  • cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
  • 如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一
  • cut只擅长于处理单个字符为间隔的文本，-b只能分割字母，-c既可以分割字母也可以分割中文

选项

-b：按字节截取
 
-c：按字符截取，常用于中文
 
-d：指定以什么为分隔符截取，默认为制表符
 
-f：通常和-d一起

例： 表示查看passwd.bak中第一行第一列，(cut -d: -f1表示截取以:为分隔的第一列)

 例：取日志访问量最高的10个IP

cat nginx.access.log-2021013 | cut -d " " -f1 | sort -n | uniq -c | sort -nr | head

清风自来86
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HackerRank-The-Linux-Shell-Challenges-Solutions:Linux Shell的完整解决方案和相关教程-Bash，文本处理，Bash中的数组，Grep Sed Awk在HackerRank上的挑战
05-10
描述通过针对HackerRank上Linux Shell挑战的相关学习资源，汇编了所有容易，中等和困难挑战的解决方案。 域包括：重击挑战数字挑战性解决方案1个2个3解决方案4 用数字循环解决方案5 数字世界解决方案6 比较数字解决...
第三周-作业.docx
09-05
对于问题3，使用`netstat -nt`获取网络状态，`tr -s ' ' :`将空格替换为":"，`cut -d: -f6`提取第六字段（IP地址），`uniq -c`统计唯一IP出现的次数，最后`sort -nr`按降序排列。 在问题4和5中，我们看到了如何编写...
过滤器tr工具
weixin_33836223的博客
04-01 96
一、tr 简介（translate or delete characters） tr 用来转换（替换或删除）来自标准输入的字符。通过使用 tr，可以非常容易地实现 sed 的许多最基本功能。可以将 tr 看作为 sed 的（极其）简化的变体：用一个字符来替换另一个字符，或者完全除去一些字符，或者除去重复字符。  注：tr 总是从标准输入获得输入，转换的结果写到标准输出，而原始文件不变。   ...
shell专题——tr工具
LiuRenyou的博客
12-25 419
文章目录shell专题——tr工具语法选项常用的匹配字符例子 shell专题——tr工具 tr工具用于 字符的替换删除 （注意是字符不是字符串） 语法 commands | tr ‘str1’ ‘str2’ tr ‘str1’ ‘str2’ < tr.txt tr [选项] ‘str1’ <tr.xt 选项 -d：删除str1中所有输入字符 -s：删除所有连续重复出现的字符序列 常用...
linux常备工具之tr
朱登凯的专栏
10-22 744
tr是translate的缩写，是用来做翻译或转换工作的。具体来讲，它可以对输入内容(stdin)进行转换或者删除。是linux管道的必备工具。下面来看几个常见的用法 替换指定字符 tr charset1 charset2 &lt; input-file 它的作用是使用charset2中的字符来替换charset1中相同位置的字符 $ echo 'hello,world' | tr l d h...
字符处理工具之tr
qianxc88的专栏
10-15 359
1.先举几个能让tr大显身手的场景场景一:给一个英文文本文件，输出前十个出现次数最多的单词cat <filename>|tr -s '[:space]' '\n'|tr '[:upper:]' [:lower:]|sort |uniq -c |sort -nr|head -10场景二：多行数据合并成一行，因为 grep 之类的匹配，按行匹配cat <filename>|tr -s '\n' ' '注
【shell】shell脚本肿的文本替换工具-tr
qq_42499737的博客
07-24 296
tr命令介绍 tr是一个超级好用的工具，他经常可以用来编写单行命令，对来自标准输入的内容进行字符的替换，字符的删除，以及重复字符的压缩。 也可以将一组字符变成另外一组字符。 标准输入 stdin 常见参数 [root@rhce test]# tr --help 用法：tr [选项]... SET1 [SET2] Translate, squeeze, and/or delete characters from standard input, writing to standard output. -c
史上最全的 Linux Shell 文本处理工具集锦.doc
11-03
本文将深入讲解一些最常用的Shell工具，包括find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed和awk，以及如何利用它们来处理文本。 ### 01 find - 文件查找 `find`命令用于在文件系统中查找符合特定条件的...
Shell脚本学习指南之文本处理工具
09-15
Shell脚本学习中，文本处理工具是不可或缺的一部分，它们能够帮助我们高效地处理文本数据，进行排序、去重、...在实际应用中，还可以结合其他命令如`grep`、`cut`、`tr`等进行组合使用，以满足更丰富的文本处理需求。
Shell--常用小工具（sort、uniq、tr、cut）
S314118142的博客
08-08 596
sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。uniq 工具在Linux系统中通常与sort命令结合使用。用于报告或者忽略文件中的重复行。cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。tr命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大。...
shell编程-文本处理工具（一）
村东头老杨的博客
12-12 199
一、grep工具： 1、认识：grep是行过滤工具，用于根据关键字进行过滤 2、语法和选项： ①、语法：# grep 选项 '关键字' 文件名 ②、常用选项 OPTIONS： -i：不区分大小写 -v：查找不包含指定内容的行，反向选择 -w：按单词搜索 -o：打印匹配关键字 -c：统计匹配到的次数 -n：显示行号 -r：逐层遍历目录查找 -A：显示匹配行及后面...
Shell正则表达式篇：awk工具；sort工具；uniq工具和tr工具
Cpureman的博客
07-27 361
文章目录前言：awk工具：awk 包含几个特殊的内建变量（可直接用）按行输出文本通过管道、双引号调用 Shell 命令sort 工具:常用的选项包括以下几种uniq 工具：常用选项包括以下几种tr工具：其常用选项包括以下内容 前言： 通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。 awk 从输入文件或者标准输入中读入信息，与 sed 一样，信息的读入也是逐行读取的。不同的
shell之常用小工具（sort、uniq、tr、cut）
weixin_71429844的博客
08-08 243
shell之常用小工具（sort、uniq、tr、cut）
Shell编程——sort排序、uniq忽略重复、tr替换压缩删除、cut指定删除字段、正则表达式元字符
不够优秀才会那么依赖其他人，不够成熟才会信任所有耀眼的外衣，不够强大才会浪费时光去迎合他们的玩闹！
03-15 491
目录标题sort 命令uniq 命令tr 命令cut 命令正则表达式基础正则表达式常见元字符扩展正则表达式元字符例子 sort 命令 sort命令—以行尾单位对文件内容进行排序，也可以根据不同的数据类型来排序 语法格式 常用选项： -f：忽略大小写，默认会将大写字母排在后面 -b：忽略每行前面的空格 -n：按照数字进行排序 -r：反向排序 -u：等同于uniq，表示相同的数据仅显示一行 -t：指定字段分隔符，默认使用[tab]键分隔 -k：指定排序字段 -o <输出文件>：将排序
使用shell统计多行文本中非重复行数
可可的专栏
12-23 3985
参见http://blog.csdn.net/b_h_l/article/details/20694919 sort命令可以对文本的内容进行排序 uniq命令可以对文本内容连续的内容进行去重，非连续的重复内容无法去重 sort 文件 | uniq 可以达到去除所有重复数据的目的（因为先排序了，这样相同的内容一定在连续的一片，再uniq） sort 文件 |uniq  等
sort
05-06 360
sort -u -o-u就是删除相邻的重复行-o就是生成目标文件-n是对数字进行排序 sort 　　一、sort 命令　　sort是Linux命令　　用途　　排序文件、对已排序的文件进行合并，并检查文件以确定它们是否已排序。　　语法　　sort [ -A ] [ -b ] [ -c ] [ -d ] [ -f ] [ -i ] [ -m] [ -n ] [ -r ] [
Shell的sort命令
weixin_33744141的博客
06-14 70
例如，假如 fruits 文档包含文本： banana orange Persimmon apple %%banana apple ORANGE LANG=En_US sort fruits 显示: %%banana ORANGE Persimmon apple apple banana orange sort -d frui...
linux(二)—cut,tee,paste,tr工具的用法和案例
xiaoqiang65的博客
11-10 3023
1：linux cut命令作用：用来截取分割文本和执行命令结果中的某些内容 2：语法：cut参数 文件 3：查看file3.txt的文件内容 参数： -c ：以字符为单位进行分割。 解释：在文件file3.txt中截取第二个元素的值 解释：从file3.txt文件中找到每行的1-5列的字符 -d ：自定义分隔符，默认为制表符。 -f ：与-d一起使用，指定显示哪个区域。 解释：从file3.txt的文件中以" " 空格分隔后取1和2和5列的字符 -b ：...
请将下列shell语句转换为python语句：if [ ${stage} -le 2 ] && [ ${stop_stage} -ge 2 ]; then # Make train dict echo "Make a dictionary" mkdir -p $(dirname $dict) echo "<blank> 0" > ${dict} # 0 will be used for "blank" in CTC echo "<unk> 1" >> ${dict} # <unk> must be 1 if [ "${token_type}" = bpe ]; then # we borrowed these code and scripts which are related bpe from ESPnet. cut -f 2- -d" " data/${train_set}/text | sort > data/lang_char/input.txt tools/spm_train --input=data/lang_char/input.txt --vocab_size=${nbpe} --model_type=${bpemode} --model_prefix=${bpemodel} --input_sentence_size=100000000 tools/spm_encode --model=${bpemodel}.model --output_format=piece < data/lang_char/input.txt | tr ' ' '\n' | sort | uniq | awk '{print $0 " " NR+1}' >> ${dict} elif [ "${token_type}" = char ]; then tools/text2token.py -s 1 -n 1 data/${train_set}/text | cut -f 2- -d" " | tr " " "\n" \ | sort | uniq | grep -a -v -e '^\s*$' | awk '{print $0 " " NR+1}' >> ${dict} fi num_token=$(cat $dict | wc -l) echo "<sos/eos> $num_token" >> $dict # <eos> fi
最新发布
06-10
以下是将上述shell语句转换为Python语句的代码： ```python if stage <= 2 and stop_stage >= 2: # Make train dict print("Make a dictionary") os.makedirs(os.path.dirname(dict), exist_ok=True) with open(dict, "w") as f: f.write("<blank> 0\n") # 0 will be used for "blank" in CTC f.write("<unk> 1\n") # <unk> must be 1 if token_type == "bpe": # we borrowed these code and scripts which are related bpe from ESPnet. with open(f"data/{train_set}/text") as text_file: texts = [line.strip().split()[1:] for line in text_file] with open("data/lang_char/input.txt", "w") as input_file: for text in texts: input_file.write(" ".join(text) + "\n") subprocess.run(f"tools/spm_train --input=data/lang_char/input.txt --vocab_size={nbpe} --model_type={bpemode} --model_prefix={bpemodel} --input_sentence_size=100000000", shell=True) with open(f"{bpemodel}.vocab") as vocab_file: vocab = [line.strip().split()[0] for line in vocab_file] with open(dict, "a") as dict_file: for i, vocab_item in enumerate(vocab): dict_file.write(f"{vocab_item} {i+2}\n") elif token_type == "char": with open(f"data/{train_set}/text") as text_file: texts = [line.strip().split()[1] for line in text_file] texts = " ".join(texts) tokens = subprocess.check_output(f"echo '{texts}' | tools/spm_encode --model={bpemodel}.model --output_format=piece", shell=True) tokens = tokens.decode().split("\n") tokens = [token.strip() for token in tokens if token.strip() != ""] tokens = sorted(set(tokens)) with open(dict, "a") as dict_file: for i, token in enumerate(tokens): dict_file.write(f"{token} {i+2}\n") num_token = sum(1 for line in open(dict)) with open(dict, "a") as dict_file: dict_file.write(f"<sos/eos> {num_token}\n") # <eos> ``` 需要注意的是，在Python中也需要使用相应的模块和工具来实现shell语句中的一些操作，例如在此代码中使用了`os`、`subprocess`模块和`tools/spm_train`、`tools/spm_encode`脚本来进行文件操作和调用外部命令。另外，由于Python中没有直接对应的`$`符号，需要使用`f-string`或者`str.format()`方法来进行字符串格式化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值