centos下对文件某些特定字符串分组统计出现次数

最新推荐文章于 2024-10-31 11:32:26 发布
最新推荐文章于 2024-10-31 11:32:26 发布
阅读量370 收藏
点赞数
文章标签： awk
原文链接：http://www.cnblogs.com/wscsq789/p/9784745.html
版权

假如现有数据：

 

{ "@timestamp": "2018-10-13T21:55:58+08:00", "remote_addr": "100.120.34.3", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=58237FA9-A1B3-4202-B5F3-9536983119E5&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.3" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }
{ "@timestamp": "2018-10-13T21:56:06+08:00", "remote_addr": "100.120.34.101", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=E9D7F87A-9042-46B4-82E8-E5F64B74466B&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.101" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }
{ "@timestamp": "2018-10-13T21:56:08+08:00", "remote_addr": "100.120.34.29", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.075, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.29" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.075 }
{ "@timestamp": "2018-10-13T21:56:10+08:00", "remote_addr": "100.120.34.75", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=D166459D-E823-4847-9094-6F4BF90625B2&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.078, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.75" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.078 }
{ "@timestamp": "2018-10-13T21:56:18+08:00", "remote_addr": "100.120.34.39", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=08C65C3B-EED2-4A65-B0C1-67FC7FB78E18&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.082, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.39" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.082 }
{ "@timestamp": "2018-10-13T21:56:31+08:00", "remote_addr": "100.120.34.68", "referer": "-", "request": "GET /api/gourd/activeupload?idfa=D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.079, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.68" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.079 }

临时保存为tmp.log

awk -F 'idfa=' '{print $2}' tmp.log 

 

出现如下结果：

58237FA9-A1B3-4202-B5F3-9536983119E5&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.3" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }
E9D7F87A-9042-46B4-82E8-E5F64B74466B&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.076, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.101" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.076 }
D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206&source=rehulu HTTP/1.1", "status": 200, "request_time": 0.075, "cookie":"-","host":"cms.369wan.com","bytes": 48, "agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0", "proxy_x_forwarded": "139.129.97.187, 100.120.34.29" "upstr_addr": "127.0.0.1:9000","upstr_host": "-","ups_resp_time": 0.075 }

执行 

awk -F 'idfa=' '{print $2}' tmp.log | awk -F '&source=' '{print $1}' 

出现如下结果：
58237FA9-A1B3-4202-B5F3-9536983119E5&appid=1410137206
E9D7F87A-9042-46B4-82E8-E5F64B74466B&appid=1410137206
D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206

执行 

awk -F 'idfa=' '{print $2}' tmp.log | awk -F '&source=' '{print $1}'  | sort  (这一步将结果相同的放在一起)

出现如下结果：
58237FA9-A1B3-4202-B5F3-9536983119E5&appid=1410137206
E9D7F87A-9042-46B4-82E8-E5F64B74466B&appid=1410137206
D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206

执行

awk -F 'idfa=' '{print $2}' cms_\(2\).log | awk -F '&source=' '{print $1}' |sort| uniq -c
出现最终结果(次数 和 各字符串)：
1 58237FA9-A1B3-4202-B5F3-9536983119E5&appid=1410137206
1 E9D7F87A-9042-46B4-82E8-E5F64B74466B&appid=1410137206
1 D5B924F3-7D25-4B52-BAE9-3270B08EA32D&appid=1410137206

 

转载于:https://www.cnblogs.com/wscsq789/p/9784745.html

weixin_30570101
关注
Linux （CentOs） 统计文件单词数量
CLAY_Z的博客
01-15 1419
声明：如有侵权，请联系删除。本篇源头是我的一个朋友@Abieai的博客。 1、原理： 状态机初始化状态设置为OUT状态，当识别为字母时就会进入IN状态，中间如果遇到分隔符的话，就会再次变为OUT状态，通过计算状态变换的次数，来计算单词的数量。也就是所有字符=字母+分隔符。根据状态机的OUT和IN状态变换来判断一个文件中的字符数量。 2、实现： #include <stdio.h> #define OUT 0 //设置OUT状态 #define IN 1 //设置IN状态 .
linux awk判断字符串开头,Linux文件比较三剑客(awk/grep/sed)之awk
weixin_30564897的博客
04-30 1420
一、什么是awkawk是Linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时...
CentOS awk 命令
一直被模仿，从未被超越
11-20 1990
AWK awk 其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。 awk 是一种......
统计一个文件中特定字符的个数
www 关注互联网最新技术
06-14 3575
统计一个文件中特定字符的个数 统计一个文件中某个字符串的个数，其实就是在在一块沙地里面找石头，有的人看到石头以后，在上面做个标记（grep），然后记住自己做了多少个标记；有的人看到石头以后，把它挖
liunx 统计字符串出现的次数
彦楠的博客
11-13 337
grep -o objStr filename|wc -l 例子 [root@VM_19_118_centos logs]# grep -o '客户端版本：R84' debug.log|wc -l 663
linux字符串分组,centos下对文件某些特定字符串分组统计出现次数
weixin_32064437的博客
04-28 448
假如现有数据：{ "@timestamp": "2018-10-13t21:55:58+08:00", "remote_addr": "100.120.34.3", "referer": "-", "request": "get /api/gourd/activeupload?idfa=58237fa9-a1b3-4202-b5f3-9536983119e5&appid=141013720...
Centos7-Linux
PAcaption的博客
08-18 2222
Centos7-Linux-RH Linux操作系统（百度百科）：全称GNU/Linux，是一套免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹于1991年第一次释出，它主要受到Minix和Unix思想的启发，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux有上百种不同的发行版，
分布式文件系统FastDFS
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-08 6761
概述 FastDFS是一个开源的轻量级分布式文件系统，是我国一款开源的分布式文件系统 由阿里巴巴开发，其真题架构由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 特点： 1>Fast......
Centos学习笔记
jayoboy的博客
04-23 207
学习内容： 提示：这里可以添加要学的内容 例如： 1、 终端：附着在终端上的接口程序 GUI:KDE ,GNone，Xfce CLI: /etc/shells bash zsh fish 2、bash的特性 命令展开：~，{} 命令别名：alias，unalias 命令历史：history 文件名统配：giob 快捷键：Ctrl+a ,u ,i ,l 命令补全：$ PATH 路径补全： 3、bash特性之：命令hash 记录上次查找结果内容并缓存 key-value（键值） 命令：hash 查看ha
认真看完就会系列——CentOS常用命令
筱筱攻程师的博客
02-20 1672
文章目录一、概述及环境搭建二、常用的基本命令(必掌握)目录管理基本属性文件内容查看三、Vim编辑器使用及账号用户管理账号管理用户组管理磁盘管理四、三种软件安装方式及服务器基本环境搭建jdk安装（rpm安装）Tomcat安装（解压缩安装）安装Docker（yum安装）五、 宝塔面板安装 一、概述及环境搭建 开机登录 开机会启动许多程序。它们在Windows叫做"服务"（service），在Linux就叫做"守护进程"（daemon）。 开机成功后，它会显示一个文本登录界面，这个界面就是我们经常看到的登录界
linux查看某个时间段的日志(sed -n)-史上最详细
热门推荐
lxw1844912514的博客
04-09 1万+
前言 在linux上查找日志的时候，如果我想找出某个时间段的日志，比如查找今天早上8点到下午2点的日志。 用grep不太方便直接过滤出来，可以使用sed根据时间去查找 sed -n ‘/开始时间日期/,/结束时间日期/p’ all.log 查找日志 比如下面这段日志,前面的时间格式都是类似 2019-10-21 07:44:20 2019-10-24 21:33:31,678 [django.request:93] [base:get_response] [WARNING]- Not Fou
Linux下统计一个字符串在文件中出现的次数
牧马人
04-16 3147
统计一个字符串在文件中出现的次数 $ grep -c "strings" file.log 例如： $ grep -c "warnerwu.mac.test" access.log
centos系统查找文件中的字符串命令
weixin_34234829的博客
02-27 953
一、如果我们在根目录下查找所有文件中包含字符串"phpinfo"内容的文件，我们可以用如下命令。 find / |xargs grep "phpinfo" 二、如果我们想找在当前目录www目录下查找所有文件中包含字符串"centos"内容的文件，我们可以用如下命令。 find www |xargs grep "centos" 三...
linux统计文件中某个字符串出现的次数
w592376568的博客
01-21 6330
grep -o str filename|wc -l https://www.cnblogs.com/ywl925/p/3947778.html
centos在文本中搜索字符串_linux(centos8):用grep命令查找文件内容
weixin_33199715的博客
02-23 1519
一，grep的用途:linux平台有最常用的三大文本处理工具：awk/sed/grepgrep的功能：搜索指定文件的内容，按照指定的模式匹配，并输出匹配内容所在的行。需要注意的地方：grep只支持匹配但不能替换匹配到的内容说明：作者:刘宏缔 邮箱: 371125307@qq.com二，查看grep所属的rpm包[root@blog ~]# whereis grepgrep: /usr/bin/gr...
sed & awk 第二版学习（八）—— awk 函数
最新发布
wzy0623的专栏
10-31 589
awk 内置算数函数、字符串函数，自定义函数介绍和用例
awk练习
qq_45740503的博客
10-30 211
awk练习
centos7下 如何将字符串进行声音播
05-31
在CentOS 7下，您可以使用Text-to-Speech Conversion Tool工具，如festival、espeak、picoTTS等将字符串转换为声音播放。以下是使用espeak工具将字符串转换为声音并播放的方法： 1. 安装espeak 在终端中输入以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值