通过awk对日志文件每天统计并入库到MySQL的过程讲解

最新推荐文章于 2020-09-07 11:17:20 发布
最新推荐文章于 2020-09-07 11:17:20 发布
阅读量4.1k 收藏 4
点赞数
分类专栏： Linux 文章标签： linux awk shell mysql 日志文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lianxiang_biancheng/article/details/8790801
版权

互联网公司每天都要统计日志文件，从中挖掘出想要的信息，比如一个软件的安装量、活跃度等。这些信息都需要入库，并进行展示。下面，对这个实现过程进行讲解。

具体的过程可分为以下几个步骤：

(1)awk统计日志文件，并将统计结果拼接成sql语句；

(2)写shell脚本，将这些sql语句入库；

(3)将shell脚本加入linux中的计划任务中，让其每天凌晨定时执行，从而实现每天自动分析日志并入库；

下面分步骤进行讲解。

一. awk统计日志文件，并拼接成sql语句

awk是对日志文件分析的一个有效命令，下面通过统计日志，计算出活跃用户数、活跃安装id、用户在线时长、一日留存率、和两日留存率。其中一日留存率表示昨天日志中的用户仍然出现在今天的日志中。其中两日留存率表示两天前日志中的用户仍然出现在今天的日志中，即两天前的用户今天仍然使用了该软件。

日志的格式如下：

时间 ip 版本 用户行为 安装序列号 用户id 安装渠道 所安装在的操作系统 在软件上操作的区域 在操作区域上的动作

下面给出几行日志数据示例：

23:55:00    211.11.21.81    1.0.0    getActiveUser    00-00-00-00-00-00-01    000000001    web    Windows XP    
23:55:05    221.21.31.91   2.0.1   sendMsgClient    00-00-00-00-00-00-02    100000000    web    Windows XP    
23:55:05    231.31.41.98   2.0.5   uploadPPimlog    00-00-00-00-00-00-03    000000020  

最低0.47元/天 解锁文章
lianxiang_biancheng
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql awk_awk从入门到精通（二十九）：awk的经典实战案例
weixin_29002191的博客
01-27 386
前言这些案例是我收集起来的，大多都是我自己遇到过的，有些比较经典，有些比较具有代表性。这些awk案例我也录了相关视频的讲解awk经典实战案例精讲。awk插入几个新字段在”a b c d”的b后面插入3个字段e f g。echoabcd|awk'{$3="efg"$3}1'awk格式化空白移除每行的前缀、后缀空白，并将各部分左对齐。aaaabbbcccbbb...
mysql awk_awk 实用实例参考
weixin_39970369的博客
01-27 119
awk 实用实例参考多维度架构 - 知乎​www.zhihu.com内置变量ARGC 命令行参数个数ARGV 命令行参数排列ENVIRON 支持队列中系统环境变量的使用FILENAME awk浏览的文件名FNR 浏览文件的记录数FS 设置输入域分隔符，等价于命令行 -F选项NF 浏览记录的域的个数NR 已读的记录数OFS 输出域分隔符ORS 输出记录分隔符RS 控制记录分隔符处理列#...
linux awk数据处理并存入mysql
编程之路
02-24 859
我这个实例包含内容比较丰富，大家可以参考一下 把目录下所有ip地址文件用awk处理，然后插入mysql数据，Ip地址是文件名去掉.txt awk脚本 mysql.awk    内容如下 #!/usr/bin/gawk -f BEGIN {count=0;}{match($0, /8\.([0-9]+) = INTEGER: ([0-9]+)/, arr); if(arr[1]!=""){name
AWK 相关命令使用
qq_35139965的博客
09-07 1713
1、输出所有 awk '{print}' a_formula_params_d_20200520.txt awk -F "^A" '{print}' a_formula_params_d_20200520.txt 2、查询文件中 A类客群额度计算 awk '{print "A类客群额度计算"}' a_formula_params_d_20200520.txt 3、
awk读取txt生成mysql插入语句
liu0808的专栏
08-29 1071
#!/bin/bash TABFILE="tabfile.txt" FILENAME="$1"#读入的文件名字，第一个参数 num=0; #cat $FILENAME |  iconv -f GBK -t UTF-8 | while read LINE #do #((num=$num+1)) #echo "line $num $LINE" #echo $LINE #awk  -F
python 实现提取log文件中的关键句子,并进行统计分析
09-18
今天小编就为大家分享一篇python 实现提取log文件中的关键句子,并进行统计分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
awk统计文件中某关键词出现次数的命令
09-15
awk统计文件中某关键词出现的次数，供朋友们学习参考
Shell脚本定期清空大于1G的日志文件
09-15
这个脚本可以通过cron定时任务系统设置为定期执行，例如每天凌晨执行一次，确保日志文件不会无限制地增长。要设置定时任务，可以在crontab配置文件中添加一行如下： ```bash 0 0 * * * /path/to/your/script.sh ```...
linuxawk将多个文件结果列合并到一个文件整理.pdf
12-06
使用 awk 将多个文件结果列合并到一个文件 在 Linux 环境下，使用 awk 工具可以将多个文件的结果列合并到一个文件中。这篇文章将介绍如何使用 awk 实现该功能，并提供了一个示例 awk 脚本来合并多个文件的结果列。 ...
Shell 分析日志文件高效命令详解.docx
最新发布
11-16
Shell 分析日志文件高效命令详解 shell 分析日志文件是一种常见的操作系统日志记录方式，通过分析日志文件，可以获取服务器的访问情况、用户行为、系统性能等信息。本文将详细介绍 Shell 分析日志文件的高效命令...
数据埋点日志awk脚本快速入库
会当凌绝顶 一览众山小
04-14 213
  工作上有这样一个需求：    服务端每天产生的埋点日志比较多>200万行,凌晨2点将这个日志的数据入库到数据库，便于BI分析。      最初我的思路是：写一个shell脚本，将入库的逻辑放入shell脚本中，再将这个shell脚本放入到linux服务器crontab任务中。    说起来简单，但在编写的过程中遇到了问题，主要是日志量大，入库的速度很慢，最初的实现是    ...
常用统计分析 SQL 在 AWK 中的实现
wisgood的专栏
11-12 1290
最近有需求需要本地处理一些临时的数据，用做统计分析。如果单纯的 MYSQL 也能实现，  不过一堆临时数据这样从 mysql 导来导去还是挺麻烦的，比较理想的选择是本机装个 cygwin  环境，然后可以用 awk 等 shell 工具做即时处理。  本文主要讲述如何在 awk 中实现 SQL 的常用操作，当做个简单的 awk 入门分享。 虽然文中部分 awk 会有其它更简洁高效的
通过binlog日志统计dml语句，找出操作频繁的表
weixin_34227447的博客
08-01 231
mysqlbinlog --no-defaults --base64-output=decode-rows -v -v mysql-bin.000002 |awk '/###/{if($0~/UPDATE|INSERT|DELETE/)count[$2" "$NF]++}END{for(i in count)print i,"\t",count[i]}'|column -t|sort -k3nr|...
awk 按小时 统计接口调用次数
ddu32445的博客
01-04 799
#统计所有接口总量awk -F ' ' '{a[$7]++} END{for(i in a){print i,a[i] | "sort -r -k 7"}}' accesslog/211_10.log > result.txt #按照数量排序awk -F ' ' '{a[$7]++} END{for(i in a){print i,a[i] | "sort -r -n -k2"}...
Linux 下使用awk处理数据并写入数据库
ITer，home聪明在于勤奋，天才在于积累
04-14 2505
Linux 下使用awk处理数据并写入数据库 #!/bin/sh #获取昨天的日期 T=`date -d yesterday +%Y%m%d` #echo "$T" #将文件移动到指定目录 mv ~/DM_$T* /home/Comparison/XN_data/hour #列出文件列表 FILE_LI=`find ./hour  -name "DM*" echo `
awk 输出到文件
05-25
可以使用 `>` 符号来将 awk 命令的输出重定向到文件中。例如，下面的命令将 awk 的输出重定向到名为 output.txt 的文件中： ``` awk '{print $1}' input.txt > output.txt ``` 其中，`{print $1}` 是 awk 的操作，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值