![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
处理海量数据的方法
Meimei_X
我是否正真努力做到了
展开
-
处理海量数据之sed命令
sed 命令的基本使用sed 命令的应用场景:主要对数据进行处理(选取,新增、替换、删除、搜素)sed 语法:sed [选项] 【动作】 文件名常见的选项和参数-n:把匹配到的行输出打印到屏幕上p:以行为单位进行打印,通常与-n一起使用d : 删除a:在行的下面插入新的内容i:在行的上面插入新的内容c:替换,指定字符串替换s:指定内容进行替换 (s/要被替换的内容/新的字符串/g)-i:对源文件进行修改(建议使用之前先备份)-e:表示可以执行多条操作eg:打印第二行[roo原创 2021-09-03 12:44:40 · 214 阅读 · 0 评论 -
处理海量数据之awk命令
介绍awk命令的基本使用awk的简介:一个非常强大的数据处理命令,支持条件判断,数组,循环等功能,与grep,sed一同被称为三剑客awk的应用场景:通常对数据进行列的提取语法:awk ‘条件一{执行动作}条件二{执行动作}……’ 文件名或者awk[选项]‘条件一{执行动作}条件二{执行动作}……’ 文件名特殊要点说明printf :格式化输出,不会自动换行print:打印出内容,默认会自动换行\t :制表符\n:换行符awk的一些特殊要点与举例说明NR :行号$1:原创 2021-09-03 12:10:55 · 3985 阅读 · 0 评论 -
处理海量数据之cut命令
cut命令的应用场景:通常对数据进行列的提取语法:cut [选项] 【file】选项:-d :指定分隔符-f:指定截取的区域-c :以字符为单位进行分割注:不加-d选项,默认为制表符,不是空格eg1:以“:”为分隔符,接取出/etc/passwd的第一列;[root@xjm ~]# cut -d ":" -f 1 /etc/passwdeg2:以“:”为分隔符,接取出/etc/passwd的第一列跟第三列;[root@xjm ~]# cut -d ":" -f 1,3 /etc/原创 2021-09-03 11:00:17 · 131 阅读 · 0 评论