胖胖的博客

生产时：producer在把消息发送到partition的时候，当key非空时，用key的hash值对partition个数取模，决定要把消息发送到哪个partition上，可以指定一样的key，这样这个key的消息在单个partition内是有序的。消费时：在一个消费者组中的多个消费者消费一个topic时，一个消费这组中只能有一个消费者消费该消息，topic下的每个分区只属于组中的一个消费者，因此是有序的。因此kafka使用多partition的概念，并且只保证单partition有序。

【代码】[kafka]四.基本命令|开|关|

3.hdfs dfs -rm -r 文件名 #删除损坏的块。2.hdfs fsck / #检查有哪些损坏的块。1.修复损坏的块文件。

kafka官方自带压力测试脚本:kafka-consumer-pref-test.sh kafka-preducer-pref-test.sh。假如Producer的吞吐量=20m/s，Consumer的吞吐量=50m/s。kafka的机器数量（经验公式）=2*（峰值速度m/s*副本数/100）+1。比如压力测试写入（生产）速度为10m/s每台，峰值为50m/s，副本数为2。每天的数据量100G*2个副本*3天/70%=600G/0.7=900G。kafka节点数量=2*（50*2/100）+1=3台。

幂等性是指：无论执行多少次同样的计算。结果都是相同的，即一条命令，任意多次执行所产生的影响均与一次执行的影响相同。

1）若干Producer：可以是服务器日志、页面产生的page view等。Producer使用push模式将消息发布到Broker。2）若干Broker3）4）