awk 常用命令汇总 ---持续学习

最新推荐文章于 2023-12-05 21:09:29 发布
最新推荐文章于 2023-12-05 21:09:29 发布
阅读量149 收藏
点赞数
分类专栏： Linux 文章标签： awk linux去重
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34560135/article/details/99476581
版权

对数据中重复行进行去重
$第一步：sort 进行排序

第二部： uniq 去除重复(必须先进行排序，否则uniq无法去除重复 uniq 是比较前后两行的数据，如果相邻两行数据不同则认为数据不同)

Shell代码

sort CUST.TXT | uniq > Target.TXT
2.
对数据中重复的列去重
awk对文件某一列去重，保留最后一行

awk命令：awk ‘{a[$1]=$0}END{for(i in a)print a[i]}’ a.txt > b.txt

豪猪不挡道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
awk常用命令
weixin_38425771的博客
08-19 221
awk是处理文本文件的一个应用程序，几乎所有 Linux 系统都自带这个程序 基本使用 awk 动作文件名 awk'{print$1 }'test.php //输出文件第一列 awk '{print$NF}'test.php //输出文件最后一列 awk '{print$1, $2}'test.php //输出文件第一列和第二列中间用空格隔开 awk -F ':''{print $1 }'test.php /...
linux awk 命令大全
01-24
linux awk 命令大全 awk 常用命令
AWK命令详解（大全）
infiltrators的博客
10-31 491
什么是awk?  你可能对UNIX比较熟悉，但你可能对awk很陌生，这一点也不奇怪，的确，与其优秀的功能相比，awk还远没达到它应有的知名度。awk是什么？与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能：它既不是具有独立意义的英文单词，也不是几个相关单词的缩写。事实上，awk是三个人名的缩写，他们是：Aho、(Peter)Weinberg和(Brain)Kerni
掌握AWK：文本处理的瑞士军刀
欢迎来到技术蜜糖罐的IT角落！
05-18 1万+
深入了解 AWK，这个文本处理的利器，为您的数据处理任务带来便利。本文将带您穿越 AWK 的基本语法，学习如何利用模式匹配、条件语句和内置函数高效地处理文本数据。探索 AWK 强大的数学运算和循环结构，同时了解如何删除重复行和输出自定义字段。通过示例，您将发现 AWK 的强大功能，助您轻松处理各种文本文件，从而提高工作效率。
linux中awk命令(最全面秒懂）
最新发布
一个懒鬼的博客
12-05 1万+
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWK三剑客功能:grep ： 过滤文本sed : 修改文本awk : 处理文本$0 : 代表当前行(相当于匹配所有)$n : 代表第n列案例1:(以:为分隔符)案例2:(默认空格为分隔符)
MOXA_AWK-3121配置方法及要点说明
09-13
MOXA AWK-3121 配置方法及要点说明 MOXA AWK-3121 是一种工业级无线设备，具有 web 功能配置、IP 网络参数设置、工作模式选择、功率增强等特点。本文将详细介绍 MOXA AWK-3121 的配置方法及要点说明。 一、Web ...
awk--Linux awk 命令-基础知识概要
03-15
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首 字符。
Shell编程-字符截取命令-awk命令
08-21
Shell编程-字符截取命令-awk命令
无线AP藦萨AWK-3131A
10-19
Moxa AWK-3131A 三合一工业级无线AP/Bridge/Client 支 持IEEE 802.11n 技术，数据传输率高达300Mbps，满足了 不断增长的快速数据传输和信号覆盖范围更广泛的要求。 AWK-3131A 符合各种工业标准，包括工作温度、输入...
moxa AirWorks AWK-1137C User’s Manual
02-07
摩沙AP用戶手冊
Linux - awk命令详解
qq_48391148的博客
07-10 5万+
目录1. awk命令1.1 awk工作原理1.2 awk语法1.2.1 awk完整语法示例：1.2.1 awk工作流程1.3 指定分隔符1.3.1 -F 指定分隔符1.3.2 指定输出分隔符2. free命令2.1 free命令各项含义 2.1.1 什么时候会使用交换分区？2.1.2 内核参数优化2.2 常用选项-m 以M为单位显示内存的使用情况-h 以人类能读懂的格式显示3.0 awk各种组合运用3.1 awk进行计算3.2 awk命令的引用shell变量 3.3
awk命令详解【非常实用】
NBA_1的博客
04-28 1万+
shell三剑客：grep、sed、awk cut -c：字符数来截取 character -f：字段来截取 field -d：指定分隔符 默认是tab awk命令详解 awk其实可以看做一种编程语言。 awk的来源：三个人名： Alfred Aho，Peter Weinberger，Brian Kernighan awk工作原理 gawk (gnu awk) Unix中awk的GNU版本，完成grep和sed的工作 。 支持数学运算，流程该控制内置大量的变量和函数。 awk命令工作原理 与sed一样, 均
awk学习笔记
weixin_34006965的博客
04-30 5096
不错的学习链接：所以拷贝下来了http://sebug.net/paper/books/awk/ awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程:依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END...
awk命令详解
运维@小兵的博客
08-01 10万+
概述 awk是专门为文本处理设计的编程语言，与sed类似都是以数据驱动的行处理软件，主要用于数据扫描、过滤、统计汇总工作，数据可以来自标准输入、管道或者文件。 awk在20世纪70年代诞生与贝尔实验室。现在使用的版本是1988年发布的Gnu awk。 基础语法 记录与字段 awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段(列)，awk每次从文件中读取一条记录。 语法格式： awk [选项] ‘条件{动作} 条件{动作} ... ...’
awk命令详解+示例
jsut_rick的博客
08-08 4万+
WK数据过滤工具(类似于grep，比grep强大) Awk编程语言/数据处理引擎 创造者：Aho、Weinberger、Kernighan 基于模式匹配检查输入文本，逐行处理并输出 通常用在Shell脚本中，获取指定的数据，单独使用时，可对文本数据做统计 #whichawk #rpm-qf/bin/awk 语法格式： 格式1：前置命令|awk[选项]‘条...
linux中的awk命令详解
热门推荐
jin's blog
01-14 11万+
1、AWK简介 AWK是一种处理文本文件的语言，是一个强大的文本分析工具。 2、AWK语法 awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f scriptfile var=value file(s) 选项参数的说明： -F fs or –field-separator fs 指定输入文件折分隔符，fs是一个字符串
awk命令详解（一）
oldmanw的博客
11-19 4777
sed命令总结：sed命令总结 虽然sed编辑器是非常方便自动修改文本文件的工具，但其也有自身的限制。通常你需要一个用来处理文本文件中的数据的更高级工具，它能提供一个类编程环境来修改和重新组织文件中的数据，而这正式awk能够做到的。awk让流编辑迈上了一个新的台阶，它提供了一种编程语言而不只是编辑器命令。在awk中，你可以做下面的事情（awk使用的是gawk版本，相对于原版awk功能更为强大，文...
awk命令初级、高级篇（详细）
关于自己学习笔记哟
04-25 2万+
awk参数 awk详细写法 awk高级玩法
Unix awk 使用手册
WillHunt的专栏
06-14 2869
主页=>UNIX开发技术=>本文应用技术系统原理开发技术网络技术系统与网络安全UNIX文化SCO专区LINUX专区UNIX资源其它资源 Unix awk使用手册（第二版）池中龙作者的话：《UNIX AWK使用手册》是我几个月前的作品了，回过头来看，这篇文章实在是很粗燥，因当时
awk -vFS 和-F 之间的区别
07-27
`-vFS` 和 `-F` 都是用于在awk命令中设置字段分隔符的选项，但它们有一些区别。 - `-vFS='"'` : 这是一个选项，其中 `-v` 用于设置一个变量，`FS` 是awk内置的变量，表示字段分隔符。在这个例子中，将字段分隔符...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值