nginx 日志入库

最新推荐文章于 2024-06-20 11:23:27 发布
最新推荐文章于 2024-06-20 11:23:27 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： 个人日记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cincinnati_De/article/details/84308535
版权 
CREATE TABLE  tmp7_nginx_log(
   host_ip STRING,
   port STRING,
   event_01 STRING,
   uri_time STRING,
   uri STRING,
   status_01 STRING,
   status_02 STRING,
   referer STRING,
   ua STRING,
   video_url STRING,
   event_02 STRING,
   unkonw_numbe STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
   "input.regex" = "([^ ]*) ([^ ]*) (- -) (\\[.*\\]) (\".*?\") (-|[0-9]*) (-|[0-9]*) (-\"[^ ]*\") (\".*?\") ([^ ]*) (-) ([^ ]*)",
   "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s %12$s"
)
STORED AS TEXTFILE;

 

 

日志:

111.27.54.11 21550 - - [06/Nov/2018:21:59:58 +0800] "GET /jhy/1.1.5/set/GetState?uid=7627064&tick=1541512797&ver=134&key=f5d16f39bd1b0ae723ce86add7bbbe01 HTTP/1.1" 200 95 -"https://servicewechat.com/wxaa46e77919aec8d9/50/page-frame.html" "Mozilla/5.0 (Linux; Android 6.0.1; OPPO A57t Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/WIFI Language/zh_CN Process/appbrand3" mas.wanzhushipin.cn - 0.014
106.8.225.70 26922 - - [06/Nov/2018:21:59:59 +0800] "GET /jhy/1.1.5/set/gameFromAppid?appid=wx7ff042bcb43bee59&tick=1541512793&ver=134&key=92240944ab93204d421f2120fe0fde55 HTTP/1.1" 200 233 -"https://servicewechat.com/wxaa46e77919aec8d9/50/page-frame.html" "Mozilla/5.0 (Linux; Android 6.0.1; vivo Y66 Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/51.0.2704.81 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/WIFI Language/zh_CN Process/appbrand0" mas.wanzhushipin.cn - 0.004
125.84.179.70 30104 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.1.6/uo/querycards?gift=0&tick=1541512798&uid=31847539&key=4c1da2bcc56d7533324ff0d7096e6b59 HTTP/1.1" 200 96 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (Linux; Android 6.0.1; Redmi Note 3 Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070333) NetType/WIFI Language/zh_CN Process/appbrand1" mas.wanzhushipin.cn - 0.003
101.248.96.34 30448 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.1.6/uo/querycards?gift=0&tick=1541512796&uid=32606679&key=8275ef8970a83167201d617aee463f28 HTTP/1.1" 200 93 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (Linux; Android 7.0; BND-AL10 Build/HONORBND-AL10; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/62.0.3202.84 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070337) NetType/4G Language/zh_CN Process/appbrand2" mas.wanzhushipin.cn - 0.004
119.103.136.94 30516 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.1.6/uo/querycards?gift=0&tick=1541512797&uid=32635487&key=7f488dd58be96a785269b10bff0e8888 HTTP/1.1" 200 94 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (Linux; Android 8.1.0; PADM00 Build/O11019; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/62.0.3202.84 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/4G Language/zh_CN Process/appbrand1" mas.wanzhushipin.cn - 0.004
110.166.198.24 14343 - - [06/Nov/2018:21:59:59 +0800] "GET /jhy/2.0.0/set/config?ver=134&tick=1541512798&key=7747d47914dd096e0da363dc7a5dad8b HTTP/1.1" 200 75 -"https://servicewechat.com/wxaa46e77919aec8d9/50/page-frame.html" "Mozilla/5.0 (Linux; Android 7.0; SM-G9280 Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/64.0.3282.137 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/WIFI Language/zh_CN Process/appbrand0" mas.wanzhushipin.cn - 0.004
27.156.27.212 16903 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.2.8/uo/data?id=102&tick=1541512799&uid=32634720&key=31ba24d423853043c93c568a4e52702b HTTP/1.1" 200 47 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (iPhone; CPU iPhone OS 11_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15G77 MicroMessenger/6.7.3(0x16070321) NetType/WIFI Language/zh_CN" mas.wanzhushipin.cn - 0.007
114.138.89.161 31530 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.2.2/uo/ad?agentid=0&tick=1541512799&type=0&uid=30925261&key=2d5a04646c2807ebd923c3519d3a639c HTTP/1.1" 200 47 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (Linux; Android 7.1.2; vivo X9 Build/N2G47H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/WIFI Language/zh_CN Process/appbrand2" mas.wanzhushipin.cn - 0.006
27.106.134.4 23830 - - [06/Nov/2018:21:59:59 +0800] "GET /jhy/1.1.5/set/RecentlyGame?uid=6021749&tick=1541512799&ver=134&key=e2aaef04d318f6ac2700a6089a20a12e HTTP/1.1" 200 985 -"https://servicewechat.com/wxaa46e77919aec8d9/50/page-frame.html" "Mozilla/5.0 (Linux; Android 7.0; TRT-AL00 Build/HUAWEITRT-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/64.0.3282.137 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/WIFI Language/zh_CN Process/appbrand1" mas.wanzhushipin.cn - 0.019
182.104.70.46 23964 - - [06/Nov/2018:21:59:59 +0800] "GET /uo/1.1.5/uo/report?continue=0&help=0&id=0&level=0&mark=91.54330500000042&shares=0&tick=1541512799&uid=32465574&key=1cdeadc76fbc34414d833312f8ffef8a HTTP/1.1" 200 91 -"https://servicewechat.com/wx3c889b4f402e924e/102/page-frame.html" "Mozilla/5.0 (Linux; Android 8.1.0; PADM00 Build/O11019; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/62.0.3202.84 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/4G Language/zh_CN Process/appbrand1" mas.wanzhushipin.cn - 0.007
117.136.24.132 47577 - - [06/Nov/2018:21:02:07 +0800] "GET /jhy/1.1.5/set/lists?agentid=8&uid=5616441&page=1&sex=2&standby=0&tick=1541509325&ver=134&key=cc7ddba60fd1d1247956c545487dc65e HTTP/1.1" 200 4803 -"https://servicewechat.com/wxaa46e77919aec8d9/50/page-frame.html" "Mozilla/5.0 (Linux; Android 7.1.1; OPPO R11s Plus Build/NMF26X; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 MicroMessenger/6.7.3.1360(0x26070338) NetType/4G Language/zh_CN Process/appbrand3" mas.wanzhushipin.cn - 0.115

"27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "440" - "http://www.ibeifeng.com/user.php?act=mycourse" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" "-" "learn.ibeifeng.com"
"27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /login/index.php HTTP/1.1" "303" "465" - "http://www.ibeifeng.com/user.php?act=mycourse" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" "-" "learn.ibeifeng.com"

 

 

 

感谢一些博客的帮助，自己写出来了。

参照: https://www.jianshu.com/p/da1f9bc326ee

Cincinnati_De
关注
专栏目录
nginx日志导入mysql_贴一段 nginx日志对应放入mysql的python工具_MySQL
weixin_39701861的博客
01-19 189
Nginxpython#!/usr/bin/python# -*- coding: utf-8 -*-"""用于切分 nginx日志nginx日志 格式：log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_r...
Fluentd(td-agent)+Nginx 搭建日志收集系统
linclaus的博客
03-01 5927
Fluentd是一个日志收集系统，可以指定多种日志来源，并且配置处理规则，到最后可以输出到不同的持久化系统。EFK就是其典型的应用场景，将日志收集并输出到ElasticSearch中。 本文的目的在于搭建一套收集Nginx产生的日志，并配置td-agent配置source type为tail的方式，从日志文件中实时收集数据，最后将日志信息经过特定的处理发送到Microsoft的EventHub消息...
nginx错误日志入库小程序
Jsxiao的博客
02-27 290
nginx错误日志入库小程序 为了独立记录nginx_error日志来自定义一些ip策略阻挡攻击，这里把所有nginx服务器的错误日志入库来进行统一处理，代码如下,然后结合supervisor来使用： #!/usr/bin/env python # -*- coding:utf-8 -*- # __author__ = 'xiaojinsong' # __time__ = '2018/2/27...
shell脚本nginx日志解析入库
yuxinchen的博客
02-24 1525
#!/bin/sh #获取nigin日志 log_path='/usr/local/nginx/logs/access.log' cat $log_path | while read line do #判断该条信息是否为我们需要 if [[ $line == *'eleId='* ]] then     #替换中=和&的转译符 $line=${line//
Flume配置5——配置flume采集tomcat，nginx运行日志，入库到 hdfs中
weixin_51699336的博客
07-03 895
5.在node1的/jobs/t10下创建tomcatlog-flume-avro.conf文件 vim tomcatlog-flume-avro.conf 6.在node1的/jobs/t10下创建avro2-flume-logger.conf文件 vim avro2-flume-logger.conf 7.启动顺序flume321 bin/flume-ng agent --conf conf --conf-file jobs/t10/avro2-flume-logger.conf --na
nginx 日志模块
H291850336的专栏
04-23 394
控制nginx如何记录请求日志 中文文档http://www.nginx.cn/doc/standard/httplog.html 官方文档http://nginx.org/en/docs/http/ngx_http_log_module.html 建议两个文档个都看看防止遗漏中文文档不全 主要指令 access_log log_format open_log_file_...
nginx日志实时存入mysql_使用Nginx lua把日志实时存储到mysql
weixin_34593927的博客
01-20 1057
准备材料Nginx.1.12安装包 (下载http://nginx.org/en/download.html)mysql 自行安装Lua 相关包LuaJIT (下载 http://luajit.org/download.html)ngx_devel_kit (下载 https://github.com/simpl/ngx_devel_kit/tags)ngx_lua (下载 htt...
使用MongoDB分析Nginx日志的方法详解
09-09
总的来说，使用MongoDB分析Nginx日志提供了一种高效且灵活的方法，可以帮助开发者深入了解网站的访问情况，及时发现潜在问题，并为优化性能、提高用户体验提供数据支持。通过结合其他工具和语言，如Python的...
presto + kafka + logstash 实时监控分析nginx日志
weixin_44144932的博客
04-22 415
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
基于Kafka-Zookeeper-Nginx-FIlebeat-MySQL的日志清洗分析平台搭建
weixin_52144789的博客
08-03 766
解释一下消息中间件：消息队列是分布式系统中重要的中间件，在实现系统高性能，高可用，可伸缩性和最终一致性架构框架中扮演着重要角色。是大型分布式系统不可缺少的核心中间件之一。kafka消息中间件：kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。日志收集、业务解耦、流量削峰允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。...
java nginx 例子_Nginx配置日志
weixin_34517026的博客
02-26 164
本篇文章帮大家学习Nginx配置日志，包含了Nginx配置日志使用方法、操作技巧、实例演示和注意事项，有一定的学习价值，大家可以用来参考。本节介绍如何在NGINX中配置日志记录错误和处理的请求。在本文章中将涉及以下内容 -设置错误日志设置访问日志启用条件日志记录日志记录到Syslog1. 设置错误日志NGINX将遇到的不同严重性级别问题的信息写入错误日志。 error_log指令将日志记录设置为特...
分析Nginx访问日志及写入数据库
reg183的专栏
04-26 1794
1、首先读取你的nginx日志文件，然后对内容进行分析，这也取决你的在nginx.conf设置的日志文件格式 #cp /var/log/nginx/access.log /var/log/nginx/test.log #cat /var/log/nginx/test.log 192.168.232.1 - - [14/Mar/2015:01:12:59 -0700] "GET / HTTP/1.1" 200 2230 "-" "Mozilla/5.0 (compatibl...
爱星物联——nginx日志配置与解析
最新发布
安信可科技
06-20 714
ngxin是一个高性能的HTTP和反向代理web服务器，爱星物联IoT平台也使用了nginx作为反向代理使用。我们在开发和运维过程中，有时候会遇到一些API接口错误、延时、恶意访问等之类的问题，在排查这些问题时，我们依赖详细的日志，试图从各种日志文件中找到一些蛛丝马迹，以便找到问题的根源。所以，本贴重点介绍一下nginx的日志参数介绍、日志配置及日志解析入库操作，日志存到数据库之后，可以作为日志系统的数据源，也可以手动构建SQL去查询统计分析，还可以通过类似grafana之类的工具去查看日志统计及明细。
实时的把日志写进数据库
soledede
02-06 245
#!/bin/bash 02 sql_user=root 03 sql_pass=123456789 04 db_name=test 05    06 sql_opt="-u$sql_user -p$sql_pass -s" 07    08 mysql_opt() {...
使用sh格式化nginx访问日志并存入mysql
树叶咖啡厅
08-31 2168
  说明:记录的日志格式(字段有:ip,time,method,uri,http,code,datasize,head,postdata) 步骤: 1.设置nginx日志格式 2.使用sh脚本格式化日志,并存入mysql 3.新建mysql表格 4.验证 一.设置nginx日志格式: a.打开nginx.conf 在http模块里面添加自定义日式格式: $remote_a...
Nginx教程(三) Nginx日志管理
热门推荐
yuan_xw的专栏
04-29 1万+
通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。
java通过filter实现操作日志入库的实现
小范的博客
09-27 5447
java Web工程实现操作日志记录的方式有很多，比如通过spring aop方式实现，也可以通过Filter方式实现。 public class StoreLogFilter implements Filter { private static final Logger logger = LoggerFactory.getLogger(StoreLogFilter.class); priv
Nginx日志深入详解
aijiagui7454的博客
01-26 461
一、日志分类 Nginx日志主要分为两种：访问日志和错误日志。日志开关在Nginx配置文件（/etc/nginx/nginx.conf）中设置，两种日志都可以选择性关闭，默认都是打开的。1、访问日志 访问日志主要记录客户端访问Nginx的每一个请求，格式可以自定义。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。Nginx...
Nginx日志配置详解
"Nginx日志配置及其相关指令详解" Nginx是一个高性能的HTTP和反向代理服务器，它的日志功能对系统监控、故障排查和性能分析至关重要。本篇将详细阐述Nginx的日志配置，主要包括access_log指令、log_format指令以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值