kafka 运行一段时间报错Too many open files

kafka运行一段时间报错:

出现这种错误的解决方法:

1.修改操作系统中的环境变量
修改“/etc/security/limits.conf”

vim /etc/security/limits.conf

末尾添加:

*         -      nofile          1000000
*         -      nproc           1000000


2.启用"/etc/security/limits.conf"功能,默认是被注释的,即默认未启用,也有可能没有,得手动添加!

vi /etc/pam.d/su 

末尾添加:

session         required        pam_limits.so


3.修改linux的环境变量

vi /etc/profile

末尾添加:

ulimit -SHn 204800

4.使配置生效:

source    /etc/profile

退出当前终端,重新登陆,你会发现最终生效的是/etc/profile中的配置。

再次启动kafka即可!

===========================================================

如果你将Kafka做成了一个service并使用systemctl进行管理的话,那么修改/etc/sysctl.conf和/etc/security/limits.conf的配置是不生效的。你可以查看/proc/<kafka pid>/limits去验证配置是否生效了。如果将Kafka配置成了service,那么你还需要修改/lib/systemd/system/<servicename>.service,增加下面配置:

> LimitNOFILE=65535

之后运行下列命令重新加载daemon和重启Kafka服务:

> systemctl daemon-reload

> systemctl stop kafka

> systemctl start kafka

之后再次查看/proc/<kafka pid>/limits中Max Open Files是否生效了。

 

https://www.cnblogs.com/shoufeng/p/10620480.html

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您可以使用Kafka提供的Java API来实现统计某个topic在一段时间内的数据量。 以下是实现的步骤: 1. 创建KafkaConsumer对象并指定要订阅的topic。 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-consumer-group"); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); consumer.subscribe(Arrays.asList("test-topic")); ``` 2. 使用poll()方法从Kafka集群获取消息。 ```java ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(10)); ``` 3. 遍历获取到的消息,并统计数据量。 ```java long count = 0; for (ConsumerRecord<String, String> record : records) { count++; } System.out.println("Count: " + count); ``` 4. 关闭KafkaConsumer对象。 ```java consumer.close(); ``` 完整的示例代码如下: ```java import java.time.Duration; import java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; public class KafkaTopicDataCount { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-consumer-group"); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props); consumer.subscribe(Arrays.asList("test-topic")); long count = 0; ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(10)); for (ConsumerRecord<String, String> record : records) { count++; } System.out.println("Count: " + count); consumer.close(); } } ``` 注意:这段代码只能统计一段时间内的数据量,如果要统计总共的数据量,需要将该代码放在一个无限循环中,并且在每一次循环中进行累加。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值