![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 60
CHENYANG123
这个作者很懒,什么都没留下…
展开
-
logstash 的grok 正则匹配URL
\/\/)?如何使我们自定义的正则生效呢,在logstash 目录下搜索文件,在文件末尾追加自定义的内容(名字不能与已有的名字重复),重启服务生效。原创 2023-10-19 17:01:24 · 294 阅读 · 1 评论 -
openresty+lua+kafka 日志采集
背景:大流量服务收集用户行为日志需求:根据业务把不同的日志发送到不同主题中 数据实时性 高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua 方案我自己采用方案二,原因是nginx 高性能,编写代码少,维护少,满足业务场景实施步骤线上请求到nginx后,使用lua 组装json 格式日志,异步发送到kafka集群 根据不同业务日志,划分不同的topic 推荐业务实施实时消费安装步骤1.安装 openresty准备openre..原创 2021-09-07 12:01:49 · 194 阅读 · 0 评论