Log4j日志写入Kafka（实战）

已于 2022-06-21 10:36:52 修改
阅读量1.9k 收藏 1
点赞数 1
分类专栏： Spring MQ消息队列 文章标签： kafka log4j 日志
于 2019-06-26 16:15:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BCDMW233/article/details/93747986
版权

1.引入依赖-pom

这里为了避免包冲突，过滤掉了log4j12

 <dependency>
     <groupId>org.apache.kafka</groupId>
     <artifactId>kafka_2.10</artifactId>
     <version>0.8.2.2</version>
     <exclusions>
    <exclusion>
    <groupId>org.slf4
最低0.47元/天 解锁文章
CabbageDevil
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka中log4j简介
一边敲代码，一边思考人生...
10-12 6215
kafka的日志是使用log4j来记录的。log4j功能比较强大，配置灵活，被众多的java程序用来记录日志。 log4j主要用来指明日志等级，日志输出格式，日志输出到哪里。 其中，日志等级包括TRACE 日志格式[PatternLayout]说明如下： %m 输出消息内容 %p 输出优先级，即DEBUG，INFO，WARN，ERROR，FATAL   %r 输出自应用启动到
Kafka+Log4j实现日志集中管理
05-05
本主题将深入探讨如何使用Apache Kafka和Log4j来实现日志的集中管理和处理。Kafka是一个高吞吐量、分布式的消息发布订阅系统，而Log4j则是一款广泛使用的Java日志框架，二者结合能有效提升日志处理效率和分析能力。 ...
log4j2和kafka集成
weixin_30576827的博客
09-30 299
log4j2依赖<dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-web</artifactId><version>2.4</version><sco...
SpringBoot Log4j2发消息到Kafka以及动态添加KafkaAppender
hhaip
10-17 7045
方法一：log4j2.xml文件配置 Appenders> Kafka name ="KAFKA" topic="log4j-kafka" syncSend="false">        -->    MarkerFilter marker ="kafkaLog" onMatch ="ACCEPT" onMismatch= "DENY" />
log4j-kafka:提供一个将标准log4j日志输出到kafka的工具
06-25
log4j-kafka提供一个将标准log4j日志输出到kafka的工具。客户端配置：##log4j.properties#####kafka topic名称log4j.appender.kafka.topic=log4jtest#####kafka broker地址log4j.appender.kafka.brokerList=Hadoop2-...
log4j写入kafka测试程序
11-11
log4j写入kafka测试程序
log4j2-kafka-appender:用于log4j2的Kafka附加程序
05-26
log4j2-kafka-appender 用于log4j2的Kafka附加程序。 此附加程序使用新的java kafka生产者api以获得更好的性能和吞吐量。 ## Build ./gradlew jar //生成jar ##行家< dependency> < groupId>...
log4jappender配置kafka使用的jar包
09-08
log4jappender配置kafka使用的jar包 log4jappender配置kafka使用的jar包 log4jappender配置kafka使用的jar包
log4j2-kafka:用于 Log4j2 的 Kafka 附加程序
07-10
log4j2-kafka 用于 Log4j2 的 Kafka 附加程序 ##Maven < groupId>com.github.stuxuhai</ groupId> < artifactId>log4j2-kafka < version>1.0 ＃＃用法 < Kafka xss=removed xss=removed> ...
elk+kafka+log4j2.xml日志收集
迷途的小兵
05-18 1245
下载地址：https://www.elastic.co/cn/downloads/ elasticsearch 配置修改:viconfig/elasticsearch.yml node.name: node-1 path.data: ~/elasticsearch/data path.logs: ~/elasticsearch/logs network.host: 127.0.0....
利用log4j把日志输出到kafka消息队列中
Rocky
04-08 2442
先说明kafka的版本信息kafka_2.10-0.10.0.1 接下来是在eclipse中进行测试的案例： 以上是在把kafka的目录下面的libs下面的依赖copy的新建的java project中。注意我这里是用的kafka_2.10-0.10.0.1版本、 下面给出log4j.propertied的配置信息 log4j.rootLogger = info,stdout,kaf...
使用Log4j将程序日志实时写入Kafka
jcpp9527的博客
04-11 1506
Demo及相关软件下载：https://download.csdn.net/download/wqc19920906/10342360很多应用程序使用Log4j记录日志，如何使用Kafka实时的收集与存储这些Log4j产生的日志呢？一种方案是使用其他组件（比如Flume，或者自己开发程序）实时监控这些日志文件，然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppen...
kafka log4j日志级别修改，一天生成一个日志文件
从大数据到人工智能的博客
12-07 2216
kafka的log4j日志默认配置中，有如下配置： log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.kafkaAppender.DatePattern='.'yyyy-MM-dd-HH 这有什么问题呢，虽然说我们用一天一次的滚动日志，但是我们配置的DataPattern为小时级别的，所以只要每个小时有日志生成，那么每个小时都会生成日志，简单来说就是一个小时一个。 这个对于我们日志记录
ELK日志系统设计方案-Log4j日志直推Kafka
niaonao
03-09 2630
通常的产品或项目部署至服务器，服务一般会打印日志便于线上问题跟踪。 使用 Log4j 中的自定义 Appender，将服务运行打印的日志直接推送到 Kafka 中。经由 Logstash 消费 Kafka 生产的数据，进行加工过滤后输出到 ElasticSearch 进行日志数据的存储与全文检索。使用 Kibana 对日志数据进行可视化操作。
Spark使用Log4j将日志发送到Kafka
jast
03-04 613
Spark使用Log4j将日志发送到Kafka
springboot使用kafka发送日志到elk
nengyongma的博客
01-14 1644
单机单节点 篇 win10环境（jdk1.8） 一、环境搭建 1，安装elasticsearch 2，安装kibana 3，安装logstash 4，安装kafka 二、项目搭建并运行验证 1，搭建项目并运行验证 三、安装过程记录 1，简单说明 一.1-3 为elk通用方案的内容，使用任何语言项目都可参考 一.4 为使用kafka作为消息队列异步收集项目日志并传递到logstash，有使用该方案的可参考 二.1 为springboot使用log4j将日志传递到kafka的实例
Kafka搭建(单机版)
最新发布
Healer_银尘的博客
07-04 434
Centos搭建单机版Kafka(一键启动)
Java写入kafka
08-11
在Java中写入Kafka，你需要使用Kafka的Java客户端库。以下是一个简单的示例代码，演示如何将消息写入Kafka主题： ```java import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.KafkaProducer; import java.util.Properties; public class KafkaWriter { public static void main(String[] args) { // Kafka 服务器地址 String bootstrapServers = "localhost:9092"; // Kafka 主题名称 String topic = "my-topic"; // 配置生产者属性 Properties props = new Properties(); props.put("bootstrap.servers", bootstrapServers); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 创建生产者实例 Producer<String, String> producer = new KafkaProducer<>(props); try { // 发送消息 for (int i = 0; i < 10; i++) { String message = "Message " + i; ProducerRecord<String, String> record = new ProducerRecord<>(topic, message); producer.send(record); System.out.println("Sent message: " + message); } } catch (Exception e) { e.printStackTrace(); } finally { // 关闭生产者 producer.close(); } } } ``` 在代码中，你需要设置Kafka服务器地址和主题名称。然后，创建一个KafkaProducer实例，使用生产者实例发送消息到指定的主题。这个示例中，我们发送了10条消息，并打印每条消息的内容。 请注意，你需要在项目的依赖中添加Kafka客户端库。可以使用Maven或Gradle等构建工具来管理依赖。例如，在Maven项目中，可以在pom.xml文件中添加以下依赖项： ```xml <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.8.0</version> </dependency> </dependencies> ``` 这样就可以使用Java写入Kafka了。希望能对你有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值