Kafka注意事项
如果 会发生比较严重的数据倾斜,而且在压力较大的情况会导致数据丢失。所以跟kafka server 的YDB的总分片数为spark.executor.max.usedcores);
注:2个,表示每个进程会启动l数据丢失根本问题在于磁盘与网络是否繁忙!!!!!!
如果磁盘长时间使用率kafka retry机制无效
l如果我们先前采用的callback,一旦消息发送失败,我们没有处理异常的话,这个消息就丢了。
Kafka尽量独立集群,最低要求也一定要独立磁盘,并且写入限速
独立磁盘是解决问题的根本,磁盘很繁忙的情况下,2)send 里面的send函数里的Exception exception不是
kafka的参数
Producter端增加如下参数
b)在broker增加如下配置