kafka优化

1. 1. 硬件配置优化
      • Kafka依赖cpu和磁盘的高性能消息队列,由于kafka生产者需要对数据进行序列化和压缩,因此建议使用高频率的cpu
      • 内存大小建议设置为内存总量的30%-50%
      • 磁盘空间大小需要根据应用场景和需求来设置，适当的磁盘缓存可以提高性能。
      • 可以选择基于SSD的磁盘。
   2. 如何通过负载均衡提高集群吞吐量
      • 可以将多个Kafka实例分布在不同的机器上，在数据量大的情况下可以使用多实例的方式，以此提高吞吐量。
      • 通过增加Kafka实例和增加Topic的partition数目来实现负载均衡。
   3. kafka生产者代码优化  参数优化

• • 在Kafka生产者的代码中，可以通过设置Producer的参数来调整性能。
  • 通常情况下，batch.size、linger.ms和compression.type是需要关注的参数，它们会直接影响Kafka生产者的性能。
  • 设置batch.size较大的值可以减少消息数量，从而减少磁盘I / O负担。而linger.ms设置较大的值可避免短时间内大量请求导致broker压力增加。
  • 针对不同的应用场景，可以选择不同的compression.type（压缩类型）来使Kafka生产者更加适应和优化。

1. 1. Producer消息发送策略优化
      • 可以通过异步发送消息来提高性能，将回调函数放入Producer产生的新线程中，可以避免等待I／O操作完成的时间。
      • 提高可重试次数或超时时间，来避免由于网络波动等情况导致发送失败的情况。
   2. 分区数量和Broker的个数对性能的影响
      • 分区数量和Broker的个数,会对kafka的性能产生不同的硬性
      • 在分区数量增加的情况下,可以使kafka集群整体吞吐量提高,但过多分区数可能导致每个分区接收的消息量下降
      • 增加broker个数可以提高kafka集群的可扩展性和容错能力