由 log4j2日志发送到Elasticsearch引起的缓冲池的实现

最新推荐文章于 2024-06-05 09:35:44 发布
最新推荐文章于 2024-06-05 09:35:44 发布
阅读量1k 收藏
点赞数
文章标签： 大数据 操作系统
原文链接：https://segmentfault.com/a/1190000016805352
版权

在看Elasticsearch的时候想到最近的一个问题，log4j日志先发到kafka，再由logstash从kafka输出到Elasticsearch中，能否直接将log4j日志发送到Elasticsearch（只是单纯想看看怎么直接操作Elasticsearch，肯定是先发到kakfa的方案更靠谱）

找到如下项目，utility-log4j2-elasticsearch，只在bitbucket上有，github上啥的都没有，一定要看3.0的，前几个版本看的有点晕菜，代码太长了500+，就不贴出来了

clipboard.png

https://bitbucket.org/inemar/...

主要涉及的内容为日志发送到一个缓冲池中，本地另起一个线程去消费缓冲池中的内容，代码写的很多有值得借鉴的地方

还有一些不明白的，如果正好有同学感兴趣，在看并且能解答下面的几个问题的，请不惜赐教

代码283行 每次都生成了一个client，要怎么改造成一个连接池的形式

weixin_33921089
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES配置文件之日志-log4j2.properties
qingmou_csdn 的博客
05-04 5856
说明 仅以此文简单介绍下ES配置文件中，如何配置日志文件。 配置文件中各参数含义，可查看文章： log4j2 常用配置介绍 ES安装路径：/home/es/software/elasticsearch ES日志配置文件路径：/home/es/software/config/es-xxx[es集群名称]/log4j2.properties ES版本：V_5.4.2 ES日志类型：集群日志、慢日...
log4j-2-elastic:Appender for Elasticsearch，具有所有Log4j 2功能的支持
05-26
log4j-2-弹性 我创建了这个项目，以共享和增强附加程序，该附加程序将消息直接记录到集群中。 在某些特定情况下，这种将日志聚合到Elasticsearch中的方法可以很好地替代Elastic Beats。 特征 该产品包括一些标准和某些特定功能： 利用具有批量存储请求的Log4j2异步日志记录。 批处理模式会自动识别。 可以配置基于超时的缓冲区刷新。 将@Logged带注释的日志消息参数对象作为嵌入式JSON字段存储到Elasticsearch中存储的日志文档中。 映射诊断上下文（MDC）支持。 连接到多个群集节点。 基本身份验证。 Log4j的“ ignoreExceptions”选项支持。 Log4j的“ includeLocation”选项支持。 Log4j布局和过滤器支持。 入门 如果要创建自己的本地开发环境，则只需在首选的IDE中将此代码作为标准Maven项
log4j2-elasticsearch：Log4j2 Elasticsearch Appender插件
03-04
log4j2-elasticsearch概述 这是log4j2附加程序插件的父项目，能够将日志批量推送到Elasticsearch集群。 最新发布的代码（1.5.x）可用。 项目包括： log4j2-elasticsearch-core实现的框架提供程序 log4j2-elasticsearch-hc与Elasticsearch 2.x，5.x，6.x和7.x集群兼容的优化Apache Async HTTP客户端 log4j2-elasticsearch-jest与Elasticsearch 2.x，5.x，6.x和7.x集群兼容的 log4j2-elasticsearch2-bulkprocessor与2.x群集兼容的 log4j2-elasticsearch5-bulkprocessor与5.x和6.x集群兼容的 log4j2-elasticsearch6-bulkproces
推荐使用：log4j2-elasticsearch，高效日志管理的首选方案
最新发布
gitblog_00048的博客
06-05 377
推荐使用：log4j2-elasticsearch，高效日志管理的首选方案 项目地址:https://gitcode.com/rfoltyns/log4j2-elasticsearch 项目介绍 log4j2-elasticsearch 是一款强大的日志管理工具，它为Log4j2提供了一组插件，能够以批量的方式将日志数据推送到Elasticsearch集群。通过异步处理和多种客户端支持，这款开源项...
格式化日志提取模拟写入Elasticsearch
wherwh的专栏
12-04 1128
1.目标 任务场景和目标： 已有服务的格式化日志. 利用Ingest Pipeline提取 通过Simulate Pipeline API模拟写入Elasticesearch 目的是对Pipeline文件进行验证。 日志格式如下： 行号|时间戳|进程ID|线程ID|日志级别|消息内容 示例： 2|2018-11-28,10:50:06.792978|6719|140737353...
log4j2输出日志到es
weixin_33856370的博客
08-19 1989
log4j2elastic <!-- https://mvnrepository.com/artifact/net.inemar.utility/log4j2elastic --> <dependency> <groupId>net.inemar.utility</groupId> ...
log4stash:将log4net消息记录到ElasticSearch的模块
05-23
能够在使用内置过滤器和类似于自定义过滤器将日志事件发送到ElasticSearch之前进行分析。 重大更改： 导航至重大更改页面。 另请参见页面。 筛选条件： -向事件添加新的键和值。 -从事件中删除密钥。 重命名-
log4j-s3-search:具有S3，Azure，Google Cloud和搜索发布的Log4j附加程序
05-04
log4j-s3-搜索 实现，它将日志事件收集到暂存缓冲区中直至达到配置的大小，然后将其发布到外部存储，例如： 适用于远程存储/归档的 。 用于远程存储/存档。 用于远程存储/存档。 用于搜索的 。 搜索。 上面的所有...
log4j漏洞修复升级jar包（log4j-api-2.17.0.jar）
03-09
log4j漏洞修复升级jar包（log4j-api-2.17.0.jar）
Log4j2自定义Appender将日志写入到ElasticSearch
poxiaomeng187的博客
08-04 2079
海豚调度DolpinScheduler做任务调度。流程是 提交一个shell 到海豚，shell里使用 spark-submit 提交 java 程序，然后使用海豚的api 去获取日志,log4j2自定义appender
Springboot通过log4j2+logstash整合日志到Elasticsearch中
zuijiuhengdao的博客
09-09 4808
Springboot通过log4j2+logstash整合日志到Elasticsearch， springboot+log4j2+ELK(Elasticsearch+Logstash+Kibana)简单整合
ElasticSearch 5.4 的测试java工程 依赖包很全 有配置好的log4j
10-24
ElasticSearch 5.4 的测试java工程 依赖包很全 有配置好的log4j 导入就能测
Elasticsearch与最新的log4j2零日漏洞
点火三周的专栏
12-12 6995
今天真的是焦头烂额，新出来的这个log4j2零日漏洞看起来杀伤力极大，影响了Apache Struts2, Apache Solr, Apache Druid, Apache Flink等重量级的开源项目。当然也包括我们的Elasticsearch。在官方正式的通告、解决方案，补丁出来之前，我这里先简答说一下我个人的测试结果（注意，不代表官方！） 划重点： 我个人的测试结果是：只有ES 5+JDK8能复现。ES 5+JDK12，ES 6+JDK8，ES 7+JDK8均无法进行远程代码执行 测试方案： 使用
Elasticsearch Log4j漏洞快速修复步骤
陈万洲的专栏
12-17 1万+
Elasticsearch Log4j漏洞快速修复步骤
[CVE-2021-45105] Apache Log4j2 漏洞复现与原理详细分析
Specif1c的博客
08-10 1645
2021年12月9日，各大公司都被一个核弹级漏洞惊醒了，该漏洞一旦被攻击者利用就会造成及其严重的影响。该漏洞甚至被认为可能是“计算机历史上最大的漏洞”。
elasticsearch-6.6.0 关于Log4j2远程代码执行漏洞的处理
weixin_44855207的博客
12-23 1515
问题 Apache Log4j2远程代码执行漏洞 elasticsearch 6.6.0 版本使用的是2.11.1版本Log4j所有也存在这个漏洞，需要进行log4j升级。 测试过的版本：6.6.0 和5.6.5 解决办法 首先扫描log4j的jar包文件位置。每个人和公司扫描的方式不一致，在这里就不写了。 下面是我扫描到的我的es中的log4j， [VULN] version:2.11.1 /export/servers/es/elasticsearch-6.6.0/lib/log4j-core-2.
Elasticsearch 解决 log4j 安全漏洞 - 升级镜像
m0_67392409的博客
04-18 599
概论 Apache Log4j 2 被披露出存在严重代码执行漏洞，目前官方已发布正式安全公告及版本，漏洞编号：CVE-2021-44228，漏洞被利用可导致服务器被入侵等危害。 公司 ES 使用 Log4j 2 组件，存在安全问题，升级 ES 镜像中的 Log4j 2 版本解决该问题。 原理 java 项目只用替换编译出来的 jar 包就可以。 快速教程 下载 log4j-core-2.16.jar 和 log4j-api-2.16.jar https://repo.maven.apache.org/m
log4j2直接推日志到elk
qq_42870188的博客
08-23 615
log4j2直接推日志到elk笔记
Logstash输出到Elasticsearch笔记
热门推荐
Ghost Stories
02-08 2万+
output配置中elasticsearch配置 action index 给一个文档建立索引 delete 通过id值删除一个文档（这个action需要指定一个id值） create 插入一条文档信息，如果这条文档信息在索引中已经存在，那么本次插入工作失败 update 通过id值更新一个文档。更新有个特殊的案例upsert，如果被更新的文档还不存在，那么就会用到...
elasticsearch log4j2.properties
01-17
elasticsearch log4j2....总而言之，elasticsearch log4j2.properties文件用于配置log4j2日志记录工具的属性，通过它我们可以定义日志的输出位置、格式和级别，使系统管理员和开发人员更好地进行故障排除和监控工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值