shell——7处理海量数据的grep、cut、awk、sed 命令（上）

最新推荐文章于 2024-10-28 11:14:33 发布
最新推荐文章于 2024-10-28 11:14:33 发布
阅读量208 收藏
点赞数 1
分类专栏： shell 文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wake__Up_/article/details/108526621
版权

**

grep应用场景：通常对数据进行 行的提取

**
grep [选项]…[内容]…[file]
在这里插入图片描述-v 对内容进行取反
在这里插入图片描述
- n 对提取的内容显示行号 在这里插入图片描述
-w 精确匹配
在这里插入图片描述-i 忽略大小写进行匹配

^行首匹配
比如一行中， 行首有a，中间也有a 那用这个只能匹配到行首的a
具体用法：grep ‘^a’ /file

-E 正则匹配
在这里插入图片描述

**

cut的应用场景：对数据进行列的提取

**
语法：cut [选项]…[file]

-d 指定分隔符

-f 指定截取区域

-c 以字符为单位进行分割
如图我输入的命令就是 截取 etc/passwd文件 以：为分割 的第1列和第三列
在这里插入图片描述如果想要截取1到3列 那么把1，3换成 1-3 如果想截取3到结尾则 3-就可以表示
领外需要注意的是 不加选项d指定分割符，那默认的分隔符就是制表符TAB
如下图是-c的列子 截取了2-9字节
在这里插入图片描述

Wake__Up_
关注
专栏目录
处理海量数据之awk命令
Meimei_X的博客
09-03 4010
介绍awk命令的基本使用 awk的简介：一个非常强大的数据处理命令，支持条件判断，数组，循环等功能，与grep,sed一同被称为三剑客 awk的应用场景：通常对数据进行列的提取 语法： awk ‘条件一{执行动作}条件二{执行动作}……’ 文件名 或者 awk[选项]‘条件一{执行动作}条件二{执行动作}……’ 文件名 特殊要点说明 printf ：格式化输出，不会自动换行 print:打印出内容，默认会自动换行 \t ：制表符 \n：换行符 awk的一些特殊要点与举例说明 NR ：行号 $1:
shell中的文本处理工具（grep，sed，awk）
S_K15的博客
11-22 3680
shell中的文本处理工具一、grep1、grep的格式2、grep字符数量匹配规则3、示例二、sed1、sed的格式2、对字符的处理3、字符替换4、示例三、awk1、awk的格式2、示例 一、grep 文本搜索工具，可以使用正则表达式搜索文本，把匹配的行打印出来 grep支持正则表达式 egrep支持扩展的正则表达式 grep -E= egrep 1、grep的格式 grep 匹配条件 处理文件 -i 忽略大小写 -E “\<root" root字符之前不能有字符
Shell脚本中利用awk处理大批量数据
weixin_33770878的博客
09-26 744
一、需求原始文件A为1.7G的文件，有5列，大约是1700万行的样子。另有2个辅助文件B和C，B、C文件均只有2列。A1和B1相同，A2和C1相同，要提取的数据列为A1、B2、C2、A4、A5，目标文件名为D.txt。二、思路2.1在使用awk处理数据之前，考虑使用whileread ……done<A.txt的方式来处理数据，但是执行效率太低，并不符合期...
Linux处理海量数据之cut、awk、sed命令
vincent_wen0766的博客
08-27 382
cut应用场景：通常对数据进行列的提取 语法：cut [选项]...[file] 选项： -d #指定分割符 -f #指定截取区域 -c #以字符为单位进行分割 注意：不加-d选项，默认为制表符，不是空格 例子： 以':'为分隔符，截取出/etc/passwd的第一列跟第三列 cut -d ':' -f 1,3 /etc/passwd 以':'为分隔符，截取出/etc/passwd的第一列到第三列 cut -d ':' -f 1-3 /etc/passwd 以':'为分隔符，截.
Shell基本语法---处理海量数据的awk命令
dba175125的博客
07-31 125
awk命令 其实是一门编程语言，支持条件判断，数组，循环等功能，与grep，sed被称为linux三剑客 之所以叫AWK是因为取其三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符 awk的应用场景：通常对数据进行列的提取 语法： awk '条件 {执...
Linux awk 命令
weixin_36670529的博客
06-24 501
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫AWK是因为其取了三位创始人Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 语法 awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f scriptfile var=value file(............
Shell、awk、sed面试题汇总（无答案）.doc
07-07
7. 数据处理：可以使用 awk 命令来处理数据，例如从文件中提取特定的数据。 8. 数据排序：可以使用 awk 命令来对数据进行排序，例如按照第二列排序。 sed 9. 行号打印：可以使用 sed 命令来打印文件的行号，例如 `...
Shell 字符截取命令cut printf awk sed
唐大帅
02-14 736
1.cut cut -d "指定分隔符" -f 指定列数 文件名 默认分隔符为Tab键 cut -f 2 student.txt cat /etc/passwd | grep /bin/bash | cut -d ":" -f 1 2.printf printf ‘输出类型输出格式’ 输出内容 输出类型: %ns: 输出字符串。n是数字指代输出几个字符 %ni: 输出整数。n是数字指代输出几个数字 %m.nf: 输出浮点数。m和n是数字，指代输出的整数 位数和小数位数。如%...
Linux基础学习之Shell编程——字符截取命令相关——printf、cut、awk、sed
智欣约的博客
12-23 466
  一、字符截取命令之cut命令 1、字符截取命令有哪些？ grep  cut    printf（严格来说不算）   awk   sed  命令 2、grep 是在文件当中提取符合条件的行       cut  是在文件当中提取符合条件的列 3、cut命令： [root@localhost ~]# cut 【选项】文件名 选项：   -f  列号    ：提取第几列   -d...
Shell之常用的命令（cut、awk、sed、sort）
xinghuo0007的博客
08-21 1900
Shell常用的工具命令 本文引用自：https://elfgirl.top/archives/673 10.1 cut cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。 1.基本用法 cut [选项参数] filename 说明：默认分隔符是制表符 2.选项参数说明 选...
shell分组处理大量数据并行
一个程序员的复习笔记
05-17 745
将一个文件每100行分解成一个散列，追加序列到 split_ 当做文件名 #分解文件，分成散列 split -l 100 aaa.csv -d -a 2 split_ #循环执行某个shell进程处理 for file in `ls split_*` do FILES=${file##*/} #循环处理文件 后台执行 nohup sh a1.sh $FILES & ...
grep、cut常见用法
nkguohao的专栏
08-26 6724
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响
性能工具之linux三剑客awk、grep、sed详解
Mo小泽的技术博客
01-04 6969
文章目录前言概述grep = global regular expression print示例数据文件一个简单例子正则表达式特殊字符更多的 regexp 的例子AWKAWK 基础知识AWK 模式匹配AWK 控制语句AWK 输入/输出语句AWK 数学函数AWK 字符串函数AWK 命令行和用法sed = stream editorsed 基础sed 和正则表达式其它 SED 命令延伸阅读总结 前言...
shell文本处理1：grep与cut命令
what的博客
12-26 657
1.grep,egrep 1.grep用法 grep [匹配条件] [处理文件] 2.grep的参数 -i ##忽略字母大小写 -v ##条件取反 -c ##统计匹配行数 -q ##静默，无任何输出 -n ##显示匹配结果所在的行号 -q: [root@server mnt]# grep '172.25.254.250' /etc/hosts &amp;amp;&amp;amp; ec...
数据预处理_缺失值处理
weixin_45556639的博客
04-12 1891
缺失值处理 数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著 缺失值处理 丢弃 → 删除 插补 → 均值、中位数、众数插补 / 临近值插补 / 插值法 不处理 # 设置cell多行输出 from IPython.core.interactiveshell import InteractiveShell InteractiveShe...
处理海量数据的grep、cut、awk、sed 命令
weixin_30551963的博客
02-22 210
grep、cut、awk、sed 常常应用在查找日志、数据、输出结果等等，并对我们想要的数据进行提取。 通常grep，sed命令是对行进行提取，cut跟awk是对列进行提取 处理海量数据之grep命令 grep应用场景： 通常对数据进行 行的提取 语法： grep [选项]...[内容]...[file] -v #对内容进行取反提取 -n ...
shell脚本批量导入数据到oracle数据库
热门推荐
爱拼才会赢
09-20 1万+
1、方法：在shell读取文件（文件中已经写好了sql插入语句），然后直接导入到oracle数据库中。 2、表stu结构和文件data.txt内容,如下。
探索Python的神秘角落：Shellingham库揭秘
最新发布
AIGC搞起
10-28 761
在Python开发中，有时我们需要与操作系统的shell交互，比如执行命令行指令、获取环境变量等。Shellingham库应运而生，它能够检测当前Python可执行文件运行在哪个shell中，这对于开发跨平台的命令行工具尤为重要。接下来，我们将深入了解这个库的奥秘。Shellingham是一个强大的Python库，它能够帮助开发者检测当前环境的shell类型，从而编写更加灵活和跨平台的命令行工具。
Linux Shell脚本学习指南：sed,grep,awk,cut,sort与正则表达式详解
文章涵盖了基础的shell命令，包括但不限于sed（流编辑器）用于文本处理，grep（全球替换）用于查找文本模式，awk（一个强大的文本处理工具）进行字段提取和格式转换，以及cut（切割）用于提取字段和sort（排序）对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值