Maxwell的数据倾斜问题(kafka中partition分配不均)

在我的这篇博客中记录了maxwell的使用
https://editor.csdn.net/md/?articleId=103722587,先对大家说声抱歉,因为我感觉误导了很多初学者,包括我自己也被误导,那就是Maxwell将数据发送到kafka之后导致的数据倾斜问题,下面我来纠正一下

我们一般启动maxwell会执行类似的命令

./maxwell --config ../config.properties --daemon --filter='exclude: eduu_analysis.*, include: eduu_analysis.dm_cateNamesPrefer_tagNamesPrefer'

注 ：filter是缩小maxwell监控范围用的
很多小伙伴使用后会遇到这样一个问题？maxwell将数据发送到kafka，发现kafka创建的topic明明多个partition，但是监控的数据只会被发送到一个partition中，严重出现数据倾斜问题，解决方案如下
是因为maxwell有一个参数是–producer_partition_by，在不指定的情况下默认是database，意思是数据推送到kafka时，数据被根据数据库进行hash，同一个库的数据会被放在同一个partition中，这个参数有三个值：
database、table、primary_key ，所以我们这样启动成功解决问题：

./maxwell --kafka_partition_hash=murmur3 --producer_partition_by=primary_key --config ../config.properties --daemon --filter='exclude: eduu_analysis.*, include: eduu_analysis.dm_cateNamesPrefer_tagNamesPrefer'