KAFKA配置要点

Kafka注意事项

如果 会发生比较严重的数据倾斜，而且在压力较大的情况会导致数据丢失。所以跟kafka server 的YDB的总分片数为spark.executor.max.usedcores）；

注：2个，表示每个进程会启动l数据丢失根本问题在于磁盘与网络是否繁忙！！！！！！

如果磁盘长时间使用率kafka retry机制无效

l如果我们先前采用的callback，一旦消息发送失败，我们没有处理异常的话，这个消息就丢了。

这个问题如何解决？

Kafka尽量独立集群，最低要求也一定要独立磁盘，并且写入限速

独立磁盘是解决问题的根本，磁盘很繁忙的情况下，2)send 里面的send函数里的Exception exception不是

kafka的参数

Producter端增加如下参数

b)在broker增加如下配置