k8s格式化apache日志正则表达式（python）

最新推荐文章于 2023-06-14 15:28:03 发布
最新推荐文章于 2023-06-14 15:28:03 发布
阅读量258 收藏
点赞数
分类专栏： k8s入门教学 docker 文章标签： python 正则表达式 k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44388689/article/details/118552777
版权
本文介绍了如何使用EFK（Elasticsearch, Fluentd, Kibana）堆栈来解析Python程序在Apache服务器上生成的error.log和info.log日志。日志包括两种标准格式和一种自定义格式。提供了time_format配置示例，并强调了日志收集的重要性。此外，还分享了自定义正则表达式，但强调不支持无偿使用，并鼓励有问题的读者直接联系作者寻求帮助。
摘要由CSDN通过智能技术生成

做EFK日志收集的时候会用到，解析python程序的apache服务器产生的日志，java相关的请移步看我另一篇文章

包含两种常见的形式和一种自定义形式

第一种，python的error.log形式

[Wed Jul 07 07:10:24.917274 2021] [wsgi:error] [pid 8] [remote 192.168.5.75:52770] /usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:1020: InsecureRequestWarning: Unverified HTTPS request is being made to host '172.20.140.242'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings

在这里插入图片描述

第二种，python的info.log形式

10.244.0.0 - - [07/Jul/2021:02:30:56 +0000] "GET / HTTP/1.1" 405 187

time_format为 time_format %d/%b/%Y:%H:%M:%S %z
如果使用fluentd收集的话，可以直接使用

time_format %d/%b/%Y:%H:%M:%S %z
<parse>
  @type apache2
</parse>

在这里插入图片描述

第三种，自定义的形式

[Wed Jul 07 07:10:24.917274 2021] [wsgi:error] [pid 8] [remote 192.168.5.75:52770] /usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:1020: InsecureRequestWarning: Unverified HTTPS request is being made to host '172.20.140.242'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings

在这里插入图片描述
上述用到的所有表达式点击此处下载，都是自己纯手写研究出来的，不支持白嫖，如果还有什么问题请直接私信，能帮的尽量帮忙，感激不尽。

RayCheungQT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用Python分析apache访问日志
彭淦淦的博客
05-29 659
3.1 问题 编写count_patt.py脚本，实现一个apche日志分析脚本： 统计每个客户端访问apache服务器的次数 将统计信息通过字典的方式显示出来 分别统计客户端是Firefox和MSIE的访问次数 分别使用函数式编程和面向对象编程的方式实现 3.2 方案 collections是python内建的一个集合模块，模块中提供了许多有用的集合类,其中counter类 是一个简单的计数器，以字典的键值对形式储存，其中搜索的元素作为键，出现的次数作为值 实现过程： 1.实例化一个计数器 2.实例化正则
解决k8s中xxl-job执行器pod重建后无法读取到执行日志的问题
08-24
但在k8s中，即使将本地文件通过nfs独立存储，在pod重建后也通常会因为ip变更，找不到执行器，导致读取不到执行日志。解决方案为单独再部署一个xxl-job-read-log服务，将读日志的请求都转到这个服务上，由这个服务...
k8s+docker日志解析正则表达式.txt
06-30
k8s+docker日志解析正则表达式.txt
Apache日志文件的正则表达式解析
weixin_34087307的博客
05-14 299
Apache日志文件的正则表达式解析 2010-06-22 16:52 by Register, 511 阅读,0评论,收藏,编辑 使用正则表达式分隔Apache日志文件 通用日志格式的Apache日志文件示例： 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif...
python分析apache日志的脚本
kbkiss_1的专栏
04-18 4023
核心的正则模块是直接从apachelog模块里拿出来的，我自己几乎什么都没做apahelog模块地址：http://pypi.python.org/pypi/apachelog/1.0<ol class="hl-main ln-show" title="Double click to hide line number." ondblclick="function ondblclick(){
k8s的apache镜像和vhost.conf的ConfigMap动态配置
swingLau007的博客
06-03 413
1 说明 由于需要部署多个项目，希望能用同一个镜像和不同vhost.conf ，vhost.conf 用ConfigMap 进行配置， 然后再用volumeMounts 挂载的方式 将vhost.conf 生成在apache的conf 目录下 2. vhost.conf 的ConfigMap 配置 vi phpipam.ConfigMap.yaml apiVersion: v1 kind: ConfigMap metadata: namespace: yzdxxx name: phpipam-c
k8s apache解析正则表达式.txt
07-07
k8s apache解析正则表达式
k8s搭建EFK日志中心需要的部署文件
06-10
k8s搭建EFK日志中心需要的部署文件，适用于搭建elasticsearch + fluentd + kibana组成的日志分析平台。适合新手小白直接拿来执行使用的k8s部署脚本文件。因为镜像文件较大，所以需要对应镜像文件的请私聊。此种方案...
k8s安装可视化界面 dashboard.yml
10-24
k8s安装可视化界面ml
python 统计分析apache日志_python分析apache访问日志脚本分享
weixin_39520204的博客
12-21 66
#!/usr/bin/envpython#coding=utf-8#------------------------------------------------------#Name:Apache日志分析脚本#Purpose:此脚本只用来分析Apache的访问日志#Version:2.0#Author:LEO#Created:2013-4-2...
【云原生】Apache Livy on k8s 讲解与实战操作
匠人精神，持之以恒！
11-07 2131
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:Spark开源REST服务——Apache Livy（Spark 客户端）
php分析apache日志_php正则解析apache日志文件文件
weixin_42138545的博客
03-08 149
可以把日志按小时滚动，采用php正则分析日志的方式进行解决$logLine ='127.0.0.1 - - [22/May/2015:17:09:13 +0800] "GET /sale/images/y-select.png HTTP/1.1" 200 1095';$pattern = '/^(?P[0-9.]+) - - \[(?P[^\]]+)\]+ "GET (?P[^ ]+) HTTP\...
Python的time.strftime()方法
weixin_36670529的博客
05-21 9680
描述 Python time strftime() 函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数format决定。 语法 strftime()方法语法： time.strftime(format[, t]) 参数 format -- 格式字符串。 t -- 可选的参数t是一个struct_time对象。 返回值 返回以可读字符串表示的当地时间。 说明 py...
Filebeat 收集K8S 日志，生产环境实践
dz45693的专栏
03-24 6229
根据生产环境要求，需要采集K8S Pod 日志，和开发协商之后，Pod中应用会将日志输出到容器终端上，这时可以直接用filebeat 采集node节点上面的/var/log/containers/*.log日志，然后将日志输出到kafka消息队列中，经过kafka将日志写入logstash进行格式化，然后由logstash传入elasticsearch存储，然后kibana会连接elasticsearch展示索引数据。 数据传输流程：Pod ->/var/log/containers/*.log..
K8s 部署 Apache Kudu 集群
小毕超博客
06-14 2008
基于 K8s 安装 Apache Kudu 集群
python时间格式转化：%Y-%m-%d %H:%M:%S转成%Y/%m/%d %H:%M:%S
热门推荐
future_pei的博客
02-18 3万+
如a = "2019-02-1823:40:00",想改为 a = "2019/02/18 23:40:00" 方法：先转换为时间数组,然后转换为其他格式 如下： timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S") otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray) ...
fluentd学习——tail（输入插件）
yczws1的专栏
04-17 1万+
tail（输入插件） http://docs.fluentd.org/articles/in_tail tail Input Plugin The in_tail Input plugin allows Fluentd to read events from the tail of text files. Its behavior is similar to the tail -F comm
mysql时间字符串操作+转换格式表
杨叶林的专栏
11-02 612
时间转字符串 selectdate_format(now(),'%Y-%m-%d'); #结果：2020-11-05 字符串转时间 selectstr_to_date('2020-11-05','%Y-%m-%d'); #结果：2016-01-0200:00:00 格式化字符表 MySQL日期格式化（format）取值范围。 值 含义 秒 %S、%s 两位数字形式的秒（ 00,01, ..., 59） 分 %I、%i 两位数字...
在 K8s 中部署企业级发布订阅消息系统 Apache Pulsar
云原生实验室
01-14 2271
时间过得比较久了，在开始今天的学习之前先回顾一下前面已经学习的 13 节的内容。阶段复习Pulsar 是一个支持多租户的、高性能的、分布式的 Pub-Sub 消息系统。了解 Pulsar ...
正则表达式k8s pod命名规则
最新发布
05-01
在Kubernetes中，Pod的名称必须符合以下规则[^2]： - 只能包含小写字母、数字和连字符（-）。 - 必须以字母或数字开头。 - 必须以字母或数字结尾。 - 最大长度为63个字符。 以下是一个示例，展示了符合Kubernetes ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

RayCheungQT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值