kafka支持大数据传输

kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这时我们就要对kafka进行以下配置:

kafka_2.11-0.9.0.0/config/server.properties

Producer的参数中添加：max.request.size设置请求消息的大小    compression.type 启动压缩模式

Consumer的参数配置：max.partision.fetch.bytes 每次从单个分区中拉取的消息最大尺寸