![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
左林右李02
mt实时数据平台研发
展开
-
awk统计字段出现行数(类似group by)
使用hdfs dfs -cat /prod/brand=xxx/*|awk -F "," '{print $4}'可查看逗号分隔的第四个字段,如果想要统计该字段各值出现的次数,可以使用以下命令hdfs dfs -cat /prod/brand=xxx/*|awk -F “,” ‘{count[$4]++;} END {for(i in count) {print i count[i]}}’命令可分解为两部分1、{count[$4]++;} END #声明数组(数组名字可随便起,叫arr、li原创 2021-03-01 17:31:14 · 1361 阅读 · 0 评论 -
awk if使用
cat query-hive-18553.csv |awk '{if (substr($1,1,3)=="tmp") print $1}'>tmp_list原创 2020-07-16 15:26:40 · 557 阅读 · 0 评论 -
awk取引号里的字段
双引号:awk -F "[\"]" '{print $2}'单引号:awk -F "[\']" '{print $2}'比如文件aaa.txt格式如下'ZHDC_foshan_hyc_20200628_clusterid_10007', 'ZHDC_foshan_hyc_20200628_clusterid_10008', 'ZHDC_foshan_hyc_20200628_clusterid_10009', 'ZHDC_foshan_hyc_20200628_clusterid_10010',原创 2020-07-04 00:13:43 · 1774 阅读 · 0 评论 -
xargs命令&批量杀进程example
ps -ef|grep prometheus|awk '{print $2}'|xargs kill -9awk '{print $2}'是把进程pid跳出来,xargs命令将标准输入转为命令行参数。xargs用法举例echo "one two three" | xargs mkdir以上命令可以将创建三个文件夹,名字分别为one two three-d指定分隔符默认情况下,xargs将换行符和空格作为分隔符,把标准输入分解成一个个命令行参数。-d参数可以更改分隔符。$ echo -.转载 2020-06-11 14:17:01 · 519 阅读 · 0 评论 -
linux遍历文件查找字符串
grep 文本搜索grep match_patten file // 默认访问匹配行常用参数-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行-c 统计文件中包含文本的次数grep -c “text” filename-n 打印匹配的行号-i 搜索时忽略大小写-l 只打印文件名在多级目录中对文本递归搜索(程序员搜代码的最爱):grep “class” . -R ...原创 2020-03-02 16:12:08 · 1440 阅读 · 0 评论