kafka 运行一段时间报错Too many open files

kafka运行一段时间报错:
在这里插入图片描述

出现这种错误的解决方法:

1.修改操作系统中的环境变量
修改“/etc/security/limits.conf”

vim /etc/security/limits.conf

末尾添加:

*         -      nofile          1000000
*         -      nproc           1000000

在这里插入图片描述
2.启用"/etc/security/limits.conf"功能,默认是被注释的,即默认未启用,也有可能没有,得手动添加!

vi /etc/pam.d/su 

末尾添加:

session         required        pam_limits.so

在这里插入图片描述
3.修改linux的环境变量

vi /etc/profile

末尾添加:

ulimit -SHn 204800

4.使配置生效:

source    /etc/profile

退出当前终端,重新登陆,你会发现最终生效的是/etc/profile中的配置。
在这里插入图片描述
再次启动kafka即可!

  • 4
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
您可以使用Kafka提供的Java API来实现统计某个topic在一段时间内的数据量。 以下是实现的步骤: 1. 创建KafkaConsumer对象并指定要订阅的topic。 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-consumer-group"); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); consumer.subscribe(Arrays.asList("test-topic")); ``` 2. 使用poll()方法从Kafka集群获取消息。 ```java ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(10)); ``` 3. 遍历获取到的消息,并统计数据量。 ```java long count = 0; for (ConsumerRecord<String, String> record : records) { count++; } System.out.println("Count: " + count); ``` 4. 关闭KafkaConsumer对象。 ```java consumer.close(); ``` 完整的示例代码如下: ```java import java.time.Duration; import java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; public class KafkaTopicDataCount { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-consumer-group"); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); consumer.subscribe(Arrays.asList("test-topic")); long count = 0; ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(10)); for (ConsumerRecord<String, String> record : records) { count++; } System.out.println("Count: " + count); consumer.close(); } } ``` 注意:这段代码只能统计一段时间内的数据量,如果要统计总共的数据量,需要将该代码放在一个无限循环中,并且在每一次循环中进行累加。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值