常见文本处理工具

最新推荐文章于 2024-06-04 09:54:42 发布
最新推荐文章于 2024-06-04 09:54:42 发布
阅读量2.5k 收藏
点赞数
分类专栏： Linux笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37757403/article/details/82913064
版权
paste -d"#"f1 f2 横向合并文件,并以#作为分隔符
cut -d ‘%’ -f2,3-5以%分隔符，取第二列和三到五列
cat f1 f2纵向合并文件
tac f1 f2和cat显示内容是相反的
tr -s " " “%”空格压缩为%
tr -s " "仅仅压缩空格
[root@nginx ~]#  ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.186.39.193  netmask 255.255.0.0  broadcast 10.186.255.255
        ether 52:54:00:33:78:f8  txqueuelen 1000  (Ethernet)
        RX packets 8942034  bytes 5666332700 (5.2 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 7219762  bytes 1850180335 (1.7 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@nginx ~]#  ifconfig eth0 |head -n2 |tail -n1
        inet 10.186.39.193  netmask 255.255.0.0  broadcast 10.186.255.255
[root@nginx ~]#  ifconfig eth0 |head -n2 |tail -n1 |tr -s ' ' | cut -d ' '  -f3
10.186.39.193

sort 默认排序
-t 制定分隔符
-u 去重排序
-n 顺序排序（由小到大）
-r 和-n相反
-R 随机排序 （生成随机数，比如抽奖）
-k 指定那一列

[root@nginx ~]# echo {1..50} | tr -s " " "\n" |sort -R |head -n1  #生成随机数
12
[root@nginx ~]# echo {1..50} | tr -s " " "\n" |sort -R |head -n1
46
[root@nginx ~]# cat /var/log/nginx/access.log | cut -d' ' -f1 | sort -u -n   #排序并去重
1.202.69.104
5.8.54.27
23.254.203.250
36.152.17.61
37.59.57.78
43.226.144.199
52.222.3.206
52.77.223.212

uniq
-c 显示重复的次数
-d 仅仅显示重复的行
-u 仅仅显示不曾重复的行

[root@nginx ~]#  cat /var/log/nginx/access.log | cut -d " " -f1 |uniq -c |sort -nr |head -n10   #对一个网站访问前十次的IP排名
    400 119.29.143.122
    252 43.226.144.199
     13 222.128.2.100
     13 1.202.69.104
     12 82.223.29.247
     12 37.59.57.78
     12 188.40.127.8
     12 120.55.164.49
     10 52.222.3.206
      4 59.110.237.76
[root@nginx ~]# sort -t " " -k1  /var/log/nginx/access.log | cut -d " " -f1 |uniq -c |sort -nr |head -n10   #也是对访问前十的IP排序
[root@nginx ~]# sort -t " " -k1  /var/log/nginx/access.log | cut -d " " -f1 |uniq -c |sort -nr |head -n10 |tr -s " " |cut -d " "  -f3  #去掉前面的次数
119.29.143.122
43.226.144.199
222.128.2.100
1.202.69.104
82.223.29.247
52.222.3.206
37.59.57.78
188.40.127.8
120.55.164.49
59.110.237.76
[root@nginx ~]# cat f2 
aa
bb
deklfmef
ferf
er
[root@nginx ~]# cat f1 
aa
bb
ddddd
cc
ggg
[root@nginx ~]#  cat f1 f2 | sort |uniq -d  #找两个文件相同的行
aa
bb
#grep 

grep:
-a 不要忽略二进制数据。
-A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容。
-b/-B 在显示符合范本样式的那一行之外，并显示该行之前的内容。
-c 计算符合范本样式的列数。
-C<显示列数>或-<显示列数>  除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
-d<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。
-e<范本样式> 指定字符串作为查找文件内容的范本样式。
-E 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。=egrep
-f<范本文件> 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式。
-F 将范本样式视为固定字符串的列表。
-i 忽略字符大小写的差别。
-n 在显示符合范本样式的那一列之前，标示出该列的编号。
-q 不显示任何信息,	用于判断返回值。
-R/-r 此参数的效果和指定“-d recurse”参数相同。
-s 不显示错误信息。
-v 反转查找。
-w 只显示全字符（单词）合的列。"a b c " "a-b-c" "a,b,c" 这三种属于三个单词。
-o 只输出文件中匹配到的部分。

-i -v -c -o -q -A -B -C -e -w
[root@nginx ~]# grep $(whoami) /etc/passwd

[root@nginx ~]# grep $USER /etc/passwd

[root@nginx ~]# grep -e root -e nginx /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
nginx:x:995:992:Nginx web server:/var/lib/nginx:/sbin/nologin

[root@nginx ~]# grep -n -A2 root /etc/passwd

[root@nginx ~]# grep -n -B2 root /etc/passwd

[root@nginx ~]# grep -n -C2 root /etc/passwd

[root@tengine mnt]# grep "\(root\)" /etc/passwd
#查看配置文件中的有用信息
cat /etc/my.cnf |tr -s " " |grep -v ^# |grep -v ^$  |grep -v "#"
#以若干个空格开头后跟linux16的行
 grep "^[[:space:]]\+linux16" /boot/grub2/grub.cfg


[root@nginx ~]# nmap -v -sP 119.29.143.0/24.  #探测存活主机
[root@nginx ~]# nmap -v -A 119.29.143.254.    #探测服务
[root@nginx ~]# nmap -v -sP 119.29.143.0/24 | grep -B1 "up" |cut -d" "  -f5 |grep 119   #探测某个网断存活的主机
119.29.143.11
119.29.143.12
119.29.143.13
119.29.143.14
119.29.143.15
119.29.143.16
119.29.143.17
root@JD:~# grep `whoami`  /etc/passwd #要使用反引号，不用使用引号或者双引号（匹配不到）
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@aliyun data]# ifconfig eth0 |grep -o "[0-9.]\{7,\}"  #查看网卡IP地址
172.16.31.64
255.255.192.0
172.16.63.255
380127248
323691159
[root@aliyun data]# grep -v ^[[:space:]]\*$ y  #过滤掉空行,^[[:space:]]$表示空白行
HHHHH
[root@aliyun data]# cat y

HHHHH
[root@aliyun data]# grep -w root /etc/passwd  #包含root这个单词的行（a-b-c,a b c,(a,b,c)这都算三个单词）
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

[root@aliyun data]# grep "\<root" /etc/passwd  #root这个单词开头的行，单词的最左侧
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

rooter:x:1002:1002::/home/rooter:/bin/bash
[root@aliyun data]# grep ^root /etc/passwd  #root这个匹配模式的开头的行，匹配模式的最左侧
root:x:0:0:root:/root:/bin/bash
rooter:x:1002:1002::/home/rooter:/bin/bash

[root@aliyun data]# grep "root\>" /etc/passwd  #root着单词结尾的行，单词的最右侧
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
adminroot:x:1003:1003::/home/adminroot:/bin/bash
[root@aliyun data]# echo hhhhaa  |grep aa$  #aa为匹配模式结尾的行
hhhhaa

[root@aliyun data]# grep "\<root\>"  /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

[root@aliyun data]# grep "\broot\b"  /etc/passwd # \<也可用\b来表示，\>也可以用\b
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

[root@aliyun data]# grep "^\(.*\):.*/\1$" /etc/passwd
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
[root@aliyun data]# grep "^halt.*halt$" /etc/passwd
halt:x:7:0:halt:/sbin:/sbin/halt

[root@aliyun data]# grep "\(\<.*\):.*\1$" /etc/passwd
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt


[root@aliyun data]# echo mamamamaXXXXXXXgegegege  |grep "\(ma\)\{4\}"
mamamamaXXXXXXXgegegege
[root@aliyun data]# echo mamamamaXXXXXXXgegegege  |grep "\(ma\)\{4\}.*\(ge\)\{4\}"
mamamamaXXXXXXXgegegege
[root@aliyun data]# echo mamamamaXXXXXXXmamamama  |grep "\(ma\)\{4\}.*\1" #\1表示对\(ma\)\{4\}>>mamamama这个整体
mamamamaXXXXXXXmamamama
[root@aliyun data]# echo mamamamaXXXXXXXgegegege  |grep "\(ma\)\+"
mamamamaXXXXXXXgegegege


[root@aliyun data]# grep "^a\|^b.*" /etc/passwd #表示a开头的或者b开头后面跟随意字符
bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
admin:x:1000:1000::/home/admin:/bin/bash
adminroot:x:1003:1003::/home/adminroot:/bin/bash
ahalt:x:1004:1004::/home/ahalt:/bin/bash

[root@aliyun data]# grep "\(^a\|^b\).*" /etc/passwd #表示a开头后跟任意字符或者b开头后跟任意字符
bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
admin:x:1000:1000::/home/admin:/bin/bash
adminroot:x:1003:1003::/home/adminroot:/bin/bash
ahalt:x:1004:1004::/home/ahalt:/bin/bash

[root@aliyun data]# echo bbb |grep "a\|b"
bbb
[root@aliyun data]# echo aaa |grep "a\|b"
aaa
[root@aliyun data]# echo bxy |grep "a\|bxy"
bxy
[root@aliyun data]# echo bxy |grep "\(a\|b\)xy"
bxy

[root@aliyun data]# grep -o "[0-9]\+" /etc/redhat-release |head -n1  #取redhatOS大的系统版本号
hubowestlife
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文本常见处理工具
LC181119的博客
12-01 442
文本常见处理工具
文本处理工具
wubowei951219的博客
05-25 304
Linux文本处理之一 grep：文本过滤(模式：pattern)工具 grep, egrep, fgrep（不支持正则表达式搜索） grep grep: Global search REgular expression and Print out the line 作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检 查；打印匹配到的行 模式：由正则表达式字符及文本字符所编写的过滤...
推荐项目：文本规范化工具Normalise —— 让非标准文本变得规范易读
最新发布
gitblog_00019的博客
06-04 388
推荐项目：文本规范化工具Normalise —— 让非标准文本变得规范易读 项目地址:https://gitcode.com/EFord36/normalise 在大数据和自然语言处理（NLP）的浪潮中，如何让计算机更好地理解人类语言成为了一大挑战。今天，我们向您推荐一款强大的开源项目——Normalise。这款工具专注于将文本中的非标准词语（如缩写、数字表达、日期等）转换成更易于人机理解的形式，...
常用的文本处理工具
小健健的博客
02-18 1528
博文大纲：1）grep命令2）cut命令3）sort命令4）uniq命令5）tee命令6）diff命令7）paste命令8）tr命令 注意：以下工具均不会对源文件进行修改，只是将结果输出！ 1） grep命令 grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 常用选项： -i：忽略大小写； -v：反向查找； -w：精确查找； -o：只输出匹配的关键字； -c...
TextTool 文本处理工具文本文件批量处理工具
11-04
"TextTool 文本处理工具"是一款强大的文本文件批量处理工具，它为用户提供了全方位的文本操作功能，能够极大地提升工作效率。无论是简单的文本更名、内容替换，还是复杂的文字处理任务，如添加水印、合并与分割文件...
Linux文本处理工具使用详解
01-09
本文将深入探讨几个常见的文本处理工具，如`grep`、`sort`、`head`、`cut`以及如何结合使用这些工具解决实际问题。 1. **统计非/sbin/nologin shell用户** `grep`命令用于搜索匹配特定模式的行。在这个例子中，`...
删除特定行文本的文本处理工具
11-12
本篇文章将深入探讨一款名为"删除特定行文本的文本处理工具"，该工具专注于帮助用户批量删除文本文件中特定条件的行，如所有包含特定字符串（如“AA”）的行，为数据预处理提供了极大的便利。 首先，让我们了解什么...
好用的文本处理工具
09-20
这里我们将深入探讨一些常见的、功能强大的文本处理工具及其特点。 1. **Vim/Emacs**：作为历史悠久的文本编辑器，Vim和Emacs拥有大量的忠实用户。它们提供了丰富的自定义选项和强大的编辑功能，如宏录制、多窗口...
文本处理工具 文件去重工具
08-23
文本处理工具在IT行业中扮演着重要的角色，尤其是在大数据分析、信息检索、文本挖掘等领域。而文件去重工具则是这类工具中的一个重要分支，主要用于查找并消除重复的文本文件，以节省存储空间，提高效率。以下是对这...
TXT大文本处理工具小巧版V1.4.3绿色免费版
07-25
TXT大文本处理工具小巧版是一款帮助用户快速处理文档的软件，软件支持文本去重、文本追加、文本拆分、文本合并、文本过滤等功能，操作简单，使用方便，需要的朋友可以前来本站下载。 多任务版：TXT大文本处理工具多任务版 v1.0.3 免费绿色版 软件功能 1、文本去重； 2、文本追加； 3、文本拆分； 4、文本合并； 5、文本过滤； 6、文本排序； 7、倒序乱序； 8、交集并集；
TXT大文本处理工具小巧版
01-02
TXT大文本处理工具小巧版
2.文本处理工具
毕加索的忧伤
12-16 109
1.grep grep grep -E = egrep grep 格式 grep 匹配条件 处理文件 grep root passwd 过滤root关键字 grep ^root passwd 以root开头 grep root$ passwd 以root结尾 grep -i root passwd 后略大小写 grep -E "\<root" passwd root字符之前不能有字符 grep -E "ro...
二、文本处理工具（三剑客grep、sed、awk）
qwejiaji的博客
06-15 149
目录一、grep1.grep格式2.grep字符数量匹配规则二、sed1.命令格式2.对字符的处理 一、grep grep支持正则表达式 egrep支持扩展的正则表达式 grep -E = egrep 1.grep格式 grep 匹配条件 处理文件 grep -E "bash|nologin" passwd grep -E root passwd #过滤root关键字 grep -Ei root passwd #忽略大小写 grep -Ei "\<root" passwd #root字符之前不
文本的处理工具
Xujm991027的博客
01-05 111
文本编辑工具VIM 在Linux中我们经常编辑修改文件，即由ASCII, Unicode 或其它编码的纯文字的文件。 vi是 Visual editor，文本编辑器，是Linux 必备工具之一，功能强大，学习曲线较陡峭，学习难度大。 vim VIsual editor iMproved ，和vi 使用方法一致，但功能更为强大，不是必备软件。 使用VIM vim的格式：vim [OPTION]… ...
（二）文本处理工具
moumumu的博客
09-15 669
这一节主要是对我们在脚本中常会用到的三种文本处理工具进行学习，相对来说awk的功能更加强大，但是都很重要，并且各有特点
linux文本处理工具
04-10
Linux 文本处理工具是用于在 Linux 操作系统中处理文本文件的工具，例如文本编辑器、命令行工具和脚本语言等。这些工具可以帮助用户快速地编辑、修改...常见的 Linux 文本处理工具包括 Vim、Emacs、grep、awk、sed 等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值