linux字符串分组,centos下对文件某些特定字符串分组统计出现次数

最新推荐文章于 2022-09-10 18:27:57 发布
最新推荐文章于 2022-09-10 18:27:57 发布
阅读量445 收藏 1
点赞数
文章标签： linux字符串分组

假如现有数据：

{ "@timestamp": "2018-10-13t21:55:58+08:00", "remote_addr": "100.120.34.3", "referer": "-", "request": "get /api/gourd/activeupload?idfa=58237fa9-a1b3-4202-b5f3-9536983119e5&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.3" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }

{ "@timestamp": "2018-10-13t21:56:06+08:00", "remote_addr": "100.120.34.101", "referer": "-", "request": "get /api/gourd/activeupload?idfa=e9d7f87a-9042-46b4-82e8-e5f64b74466b&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.101" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }

{ "@timestamp": "2018-10-13t21:56:08+08:00", "remote_addr": "100.120.34.29", "referer": "-", "request": "get /api/gourd/activeupload?idfa=d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.075, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.29" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.075 }

{ "@timestamp": "2018-10-13t21:56:10+08:00", "remote_addr": "100.120.34.75", "referer": "-", "request": "get /api/gourd/activeupload?idfa=d166459d-e823-4847-9094-6f4bf90625b2&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.078, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.75" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.078 }

{ "@timestamp": "2018-10-13t21:56:18+08:00", "remote_addr": "100.120.34.39", "referer": "-", "request": "get /api/gourd/activeupload?idfa=08c65c3b-eed2-4a65-b0c1-67fc7fb78e18&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.082, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.39" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.082 }

{ "@timestamp": "2018-10-13t21:56:31+08:00", "remote_addr": "100.120.34.68", "referer": "-", "request": "get /api/gourd/activeupload?idfa=d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.079, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.68" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.079 }

临时保存为tmp.log

awk -f 'idfa=' '{print $2}' tmp.log

出现如下结果：

58237fa9-a1b3-4202-b5f3-9536983119e5&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.3" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }

e9d7f87a-9042-46b4-82e8-e5f64b74466b&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.101" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }

d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206&source=rehulu http/1.1", "status": 200, "request_time": 0.075, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "mozilla/5.0 (x11; ubuntu; linux x86_64; rv:18.0) gecko/20100101 firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.29" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.075 }

执行

awk -f 'idfa=' '{print $2}' tmp.log | awk -f '&source=' '{print $1}'

出现如下结果：

58237fa9-a1b3-4202-b5f3-9536983119e5&appid=1410137206

e9d7f87a-9042-46b4-82e8-e5f64b74466b&appid=1410137206

d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206

执行

awk -f 'idfa=' '{print $2}' tmp.log | awk -f '&source=' '{print $1}'  | sort  (这一步将结果相同的放在一起)

出现如下结果：

58237fa9-a1b3-4202-b5f3-9536983119e5&appid=1410137206

e9d7f87a-9042-46b4-82e8-e5f64b74466b&appid=1410137206

d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206

执行

awk -f 'idfa=' '{print $2}' cms_\(2\).log | awk -f '&source=' '{print $1}' |sort| uniq -c

出现最终结果(次数 和 各字符串)：

1 58237fa9-a1b3-4202-b5f3-9536983119e5&appid=1410137206

1 e9d7f87a-9042-46b4-82e8-e5f64b74466b&appid=1410137206

1 d5b924f3-7d25-4b52-bae9-3270b08ea32d&appid=1410137206

江南憔悴客
关注
linux awk判断字符串开头,Linux文件比较三剑客(awk/grep/sed)之awk
weixin_30564897的博客
04-30 1403
一、什么是awkawk是Linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时...
Linux CentOS
chengqingshihuishui的博客
02-27 647
目录 1、Linux概述 2、Linux 目录结构 4、vi 和 vim 编辑器 1、Linux概述 Linux 是一款操作系统，免费，开源， 安全，高效，稳定， 处理高并发非常强悍，现在很多的企业级的项目都部署到 Linux/unix 服务器运行。 主要就是互联网服务端都部署在Linux系统上，所以就必须学了。 说明: 公司开发时候，具体的情况是这样的 1) linux服务器是开发小组共享的. 2) 正式上线的项目是运行在公网的. 3) 因此程序员需要远程登录到centos进行项目管理.
linux 分组排序命令,合并和排序Linux上的文件
weixin_39894233的博客
04-29 393
在 Linux 上合并和排序文本的方法有很多种，但如何去处理它取决于你试图做什么：你是只想将多个文件的内容放入一个文件中，还是以某种方式组织它，让它更易于使用。在本文中，我们将查看一些用于排序和合并文件内容的命令，并重点介绍结果有何不同。使用 cat如果你只想将一组文件放到单个文件中，那么cat命令是一个容易的选择。你所要做的就是输入cat，然后按你希望它们在合并文件中的顺序在命令行中列出这...
linux字符串分段,shell 使用指定的分割符来分割字符串的方法
weixin_36367702的博客
05-12 664
shell 如何用指定的分隔符来分割字符串让结果为一个字符串数组，类似 java 中的 split, 而 split 关键字已经留给文件分割了，故字符串就分割处理就不能在使用了，那如何来处理字符串串分割呢http://www.cppcns.com？方法有两种一、对于不包含空格的字符串，使用下面方法方法一#!/bin/bashstring="hello,shell,haha"array=(${str...
centos在文本中搜索字符串_CentOS常用命令之搜索文件
weixin_39933082的博客
01-26 1901
一、locate 命令按文件名搜索搜索速度快，但不适合精确查找。一般不用。二、find 命令1、find [范围] [条件] [文件名]/ 是搜索范围，根目录 。 缩小范围/root/ 表root目录下 等-name 是根据名称查不到，因为不是模糊查询。文件名要具体指定2、如果想要模糊查询，则加通配符通配符：*将 以算法开头的 所有文件都查到了3、通配符 ？一个？ 表示 查找算法后 有一个字符的两...
Linux常用命令之统计命令
好多可乐的博客
05-24 3177
一，排序：sort 二，去除重复：uniq 三，字符统计：wx
Linux根据指定分隔符切分字符串【一篇就够】
sjmz30071360的专栏
07-14 2283
话不多说，直接上代码splitTest.sh。执行splitTest.sh脚本，结果如下。
Centos7-Linux
PAcaption的博客
08-18 2183
Centos7-Linux-RH Linux操作系统（百度百科）：全称GNU/Linux，是一套免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹于1991年第一次释出，它主要受到Minix和Unix思想的启发，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux有上百种不同的发行版，
Linux操作系统（基于CentOS7）五：用户组管理和磁盘管理
qq479850581的博客
02-02 288
用户组管理 每个用户都有一个用户组，系统可以对一个用户组中的所有用户进行集中管理。不同Linux 系统对用户组的规定有所不同，如Linux下的用户属于与它同名的用户组，这个用户组在创建用户时同时创建。 用户组的管理涉及用户组的添加、删除和修改。组的增加、删除和修改实际上就是对/etc/group文件的更新。 增加用户组 groupadd 选项 用户组 可以使用的选项有： -g GID 指定新用户组的组标识号（GID）。 -o 一般与-g选项同时使用，表示新用户组的GID可以与系统已有用户组的GID
Linux基础学习（下）——VMWare+CentOS7
weixin_47701015的博客
07-04 428
Linux账号管理 Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。 用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。用户在登录时键入正确的用户名和口令后，就能够进入系统和自己的主目录。 用户账号的管理（添加，删除，修改） 1，添加用户账号：就是在系统中创建一个新账号，然后为新账号分配用户号、用户组、主目录
Linux group的基本操作（学习日记）
weixin_44798044的博客
04-27 4911
目录 一、 组的创建 二、查看文件的所有者 三、更改用户所在组 四、组权限的介绍 1、文件开头10位说明 2、rwx权限说明 1）rwx在文件下 2）rwx在目录下 3）rwx的数字说明权限 3、其他说明 4、权限修改 1）修改文件或目录权限的指令 五、修改文件所有者 六、修改文件/目录所在组 Linux中每一个用户都有一个归属组，不能独立于组外，文件、目录的创建者是用户，所以文件和目录同样在组下， 一、 组的创建 【group 组名】 案例1：创建一个组mo...
31.Linux文本处理三剑客——grep,sed,awk
Pink_Home的博客
09-10 918
注意：action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作就是print。（1）sed用法：sed [OPTION] {sed - commands} [input-file]·g——global 全局替换，sed替换每行所有匹配到的内容。注意：awk默认以空格为分隔符，且多个空格也识别为一个空格，作为分隔符。表示范围过滤的时候，如果结尾的内容匹配不到，则一直显示到最后一行。注意：在达到想要的结果时，先看看这个命令帮助，别急着使用管道。
python中分割字符串
说文科技，做有态度的研究。
01-18 2731
使用python完成字符串的分割
linux--字符串分割
Jayccccc_chao的博客
12-27 1万+
第一种使用cut： 一般常用的命令 echo "hello world" |cut -d" " -f1 #hello echo "hello world" |cut -d" " -f2 #world echo "hello world" |cut -d" " -f1- #hello world echo "hello world" |cut -c 1 #h e
linux shell 将字符串分割成数组
zhuchunyan_aijia的博客
06-26 2319
a="one,two,three,four"要将$a分割开，可以这样：OLD_IFS="$IFS" IFS="," arr=($a) IFS="$OLD_IFS" for s in ${arr[@]} do echo "$s" done上述代码会输出one two three four
linux+多个字符分割字符串数组中,String的split（）方法可以将字符串按照特定的分隔符拆分成字符串数组...
weixin_35245810的博客
04-29 1319
在java.lang包中有String.split()方法,返回是一个数组------不管按照什么拆，拆出来是一个数组String str = "1,2,3,4,5,6";String[] strarr = str.split(",");system.out.println(strarr)//["1","2","3","4","5","6"]注：1、如果用“.”作为分隔的话,必须是如下写法,Str...
Shell_Linux Shell 中实现字符串切割的几种方法
热门推荐
迎难而上
06-20 37万+
我们在shell 脚本编程中，经常需要用到字符串切割，即将字符串切割为一个数组，类似java 中的split 函数，下面对几种常见的方式做一个总结。目录方法一： 利用shell 中 变量 的字符串替换   方法二： 设置分隔符，通过 IFS 变量方法三： 利用tr 指令实现字符替换  （！只能针对单个分隔符）方法一： 利用shell 中 变量 的字符串替换原理：${parameter//patte...
linux中如何分割字符串数组中,Linux教程——Shell中字符串与数组操作实例
weixin_34394074的博客
04-28 631
Shell中字符串与数组操作实例前言本篇主要介绍了介绍在Shell脚本中对于字符串的处理，数据变量的定义与使用。字符串截取及切割子串截取的三种用法：${var:起始位置:长度}expr substr "$var" 起始位置 长度echo $var | cut -b 起始位置-结束位置字符串的截取，只是单纯将字符串截取出来，对原来的变量并不会进行修改。${var:起始位置:长度}SCHOOL="Th...
Linux Shell：生成随机数与字符串的实用教程
- 文章没有直接提供生成随机字符串的详细方法，但通常情况下，Linux Shell可以借助外部工具或编程语言（如bash内置的`openssl`命令或Python脚本）结合字符集来生成随机字符串。例如，可以使用`openssl rand -base64...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值