awk过滤文本行

最新推荐文章于 2024-09-19 14:31:06 发布

ecjtusbs

最新推荐文章于 2024-09-19 14:31:06 发布

阅读量2.3k

点赞数

分类专栏： shell 文章标签： awk 笔记个人

本文链接：https://blog.csdn.net/ecjtusbs/article/details/78761533

版权

本文介绍了如何使用awk命令去除文本文件中的重复行，并提供了两种不同的awk方案来过滤奇偶行。通过示例代码和测试，展示了awk在文本处理方面的强大功能。

摘要由CSDN通过智能技术生成

awk 去除重复行

编码

awk.sh

#!/bin/bash
awk '!a[$0]++' $1

测试

测试文本
passwd

   root:x:0:0:root:/root:/bin/bash
   root:x:0:0:root:/root:/bin/bash
   daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
   bin:x:2:2:bin:/bin:/usr/sbin/nologin
   sys:x:

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ecjtusbs

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

只使用awk去除配置文件的注释等无效信息

wzb56的资料库

01-23

3240

题目：只用awk去除配置文件中，注释，空行；注： 1. 配置文件注释是#开始，到行尾，和shell中注释类似； 2. 注释，包括注释行和行尾注释； 3. 空行，包括只含有换行符的行和只有空白符的行；解决方法: 1. 只去除注释行、行尾注释、不含空白符的行的方法： awk -F '#' '($1) { print $1}' 2. 只去除注释行、

如何使用awk处理文本内容

永远在学习Linux之路上

08-19

492

Awk是为高级文本处理而设计的非常强大的工具。它逐行搜索扫描文件，将输入的每行分割成字段，将输入行或字段与模式进行比较，并对匹配的结果执行操作。本节将使用sub和gsub函数和awk命令来删除文件中的制表符和空格。我们将使用以下文本文件作为本文中所有示例的输入文件: [root@localhost ~]# cat << EOF >> content.txt 出现大于号时将一下内容复制到终端，将文本内容保存到content.txt文件中。 hitesh

参与评论您还未登录，请先登录后发表或查看评论

AWK的过滤

qq_59980732的博客

10-05

906

awk是文本三剑客之一，功能最强大的文本工具逐行读取输入的文本内容，默认已空格和tab键作为分隔符，但是多个空格或者tab键的空格，会自动压缩成一个。按照指定的模式或者条件执行编辑命令，也是逐行匹配。对符合条件的才会进行格式化输出或者过滤，可以在免交互的情况下实现复杂的文本操作，完成自动化的配置。

awk过滤文件指定列包含关键字的行

最新发布

weixin_53389944的博客

09-19

303

linux中grep默认过滤文件所有内容，如果我只想过滤指定第3列有没有指定关键字，并显示指定行的所有内容，则比较麻烦。这时候可以使用awk命令实现。如果你想要在过滤指定第3列中包含某个关键字的行时，输出整行内容，可以直接使用awk来完成这个需求。以下是一个示例命令：假设你的文件是data.txt，并且你想要查找第3列中包含keyword2或者，如果你想要查找包含keyword2这样，awk会检查每一行的第3列，如果该列中包含keyword2（或完全等于keyword2），就会输出整行内容。

AWK空行过滤

windowsxp的部落格

09-14

1349

工参入库部分缺失排查某列csv缺失原始数据内容awk过滤方法: 打印空行所有数据: cat ./samecover_xiaoqu_info_20210901.csv | grep '爱立信' | awk -F'|' '{if ($4=="") print $0}' >> 空行.csv 空行过滤: cat ./samecover_xiaoqu_info_20210901.csv | grep '爱立信' | awk -F'|' '{print $4}' | e...

linux过滤两行内容,Linux中Awk常用文本处理[2]

weixin_32308019的博客

05-05

690

I. NR,FNR记录当前行[root@LinuxEA awk]# cat nr11 a2 b3 c4 d5 e[root@LinuxEA awk]# awk '{print FNR}' nr1123456[root@LinuxEA awk]# awk '{print NR}' nr1123456[root@LinuxEA awk]# awk '{print "行. = " NR " 数据 = ...

[svc]sed&awk过滤行及sed常用例子

weixin_30825199的博客

03-22

225

- sed过滤行 sed '2p' sed '2,5p' sed '2p;3p;4p' - awk过滤行 awk 'NR==2' awk 'NR>=2 && NR <=3' awk 'NR==2||NR==3||NR==4' - awk条件过滤 awk '{if($3>10) print $0}' 过滤某1行 sed过滤第2行 [root@n1 ~]# sed...

linux文本切割awk,文本处理工具之awk

weixin_42297439的博客

05-13

1185

文本处理工具之AWK一、linux文本处理工具三剑客：grep、sed、awk。其中grep是一种文本过滤器，sed是文本行编辑器，而awk是一种报表生成器，就是对文件进行格式化处理的，这里的格式化不是文件系统的格式化，而是对文件内容进行各种“排版”，进而格式化显示。在linux上我们使用的是GNU awk 简称 gawk，并且gawk是awk的链接文件，因此在系统上使用gawk和awk效果一样二...

使用 awk 过滤文本或文件中的字符串

weixin_33726318的博客

07-21

1269

当我们在 Unix/Linux 下使用特定的命令从字符串或文件中读取或编辑文本时，我们经常需要过滤输出以得到感兴趣的部分。这时正则表达式就派上用场了。什么是正则表达式? 正则表达式可以定义为代表若干个字符序列的字符串。它最重要的功能之一就是它允许你过滤一条命令或一个文件的输出、编辑文本或配置文件的一部分等等。正则表达式的特点正则表达式由以下内容组合而成：普通字符，例如空格...

使用awk提取文本

Linux的成长历程

05-28

1564

1.使用awk提取文本 问题本案例要求使用awk工具完成下列过滤任务：练习awk工具的基本用法提取本机的IP地址、根分区使用率格式化输出/etc/passwd文件中的用户名、UID、宿主目录信息格式化输出passwd文件内容时，要求第一行为列表标题，最后一行提示一共已处理文本的总行数，如图-1所示。图-1 步骤实现此案例需要按照如下步骤进行。步骤一：awk文本过滤的基本用法 ...

Linux过滤命令awk,利用linux命令行工具进行文本行过滤的方法

weixin_42298971的博客

04-29

602

在日常工作中会遇到需要筛选过滤要查看的日志等文本文件的任务，例如需要查看日志文件的最后几行等。下面总结一下常见的对文本行过滤的方法。一起去看看吧！常用命令行工具接下来主要使用的是head，tail，sed和awk，这几个工具。其中sed和awk工具非常强大，使用它们来进行文本的过滤可能有点大材小用，不过基本上所有的任务都可以通过head和tail两个命令来完成，而且head和tail日常使用更加方...

使用sed或者是awk来删除偶数、奇数行

kevinsingapore的博客

08-09

806

sed版： sed '1~2d' file #删除奇数行 sed '1~2!d' file #删除偶数行 awk版： awk 'NR%2==0' filename #删除奇数行 awk 'NR%2==1' filename #删除偶数行

linux 文本操作-数据过滤（grep，awk 使用）

qyhua的专栏

01-23

2128

grep 是 Linux 系统中的一个强大的文本搜索工具，它可以用于在文件或标准输入流中查找符合指定模式的字符串。grep [选项] 模式文件...其中，模式是指定要查找的字符串或正则表达式，文件是指定要搜索的文件。grep 支持多种选项，用于控制搜索的行为。-i：忽略大小写。-v：反向查找，只显示不包含模式的所有行。-n：显示匹配行的行号。-r：递归搜索子目录中的文件。-l：只显示匹配的文件名。-c：只显示匹配的行数。# 查找文件中包含 "hello" 的行。

python脚本模仿awk过滤指定行和列

m0_46246791的博客

06-08

237

主要是觉得awk语法不太熟悉，想着用python来过滤文本，以后不记awk命令了

Linux命令操作：用sort和awk命令，进行复杂条件过滤

一口Linux的专栏

06-11

1193

原文：https://www.toutiao.com/i6968352645211963941/ 多，浩如烟海，参数之杂，多如繁星。需求引导，用到再学。以使用为目的，适当延伸，是一个最实际最有效的办法。某天，我突然想生成一个文件，记录/dev下的设备文件，要求如下： “ls -l /dev”是数据输出源，因为这个命令会列出/dev下面的设备文件，并带有主次ＩＤ信息。要按照设备主ＩＤ由小到大、次ＩＤ号由小到大的顺序显示。只想输出主ＩＤ、次ＩＤ和设备文件名 fifo管道、socket、软.

SHELL06 - awk基本用法 awk高级应用

李俊的博客

05-03

2309

SHELL DAY06案例1：使用awk提取文本案例2：awk处理条件案例3：awk综合脚本应用案例4：awk流程控制案例5：awk扩展应用1 案例1：使用awk提取文本1.1 问题本案例要求使用awk工具完成下列过滤任务：练习awk工具的基本用法提取本机的网卡流量、根分区剩余容量、获取SSH远程失败的IP地址格式化输出/etc/passwd文件中的用户名、UID、宿主目录信息1.2 步骤实现此...

使用awk排除第一行和第二行的数据