CC00040.kafka——|Hadoop&kafka.V25|——|kafka.v25|主题管理参数说明|

一、主题管理参数说明：使用kafka-topics.sh脚本：

选项	说明
-config<String:name=value>	为创建的或修改的主题指定配置信息。支持下述配置条目： cleanup.policy compression.type delete.retention.ms file.delete.delay.ms flush.messages flush.ms follower.replication.throttled.replicas index.interval.bytes leader.replication.throttled.replicas max.message.bytes message.format.version message.timestamp.difference.max.ms message.timestamp.type min.cleanable.dirty.ratio min.compaction.lag.ms min.insync.replicas preallocate retention.bytes retention.ms segment.bytes segment.index.bytes segment.jitter.ms segment.ms unclean.leader.election.enable
-create	创建一个新主题
-delete	删除一个主题
-delete-config<String:name>	删除现有主题的一个主题配置条目。 这些条目就是在--config 中给出的配置条目。
-alter	更改主题的分区数量，副本分配和/或配置条目
-disable-rack-aware	列出给定主题的细节
-force	禁用副本分配的机架感知
-help	抑制控制台提示信息
-if-exists	如果指定了该选项， 则在修改或删除主题的时候，只有主题存在才可以执行。
-if-not-exists	在创建主题的时候，如果指定了该选项，则只有 主题不存在的时候才可以执行命令。
-list	列出所有可用的主题
-partitions<Integer:#of partitions>	要创建或修改主题的分区数
--replica-assignment <String:broker_id_for_part1_replica1 :broker_id_for_part1_replica2 ,broker_id_for_part2_replica1 :broker_id_for_part2_replica2 , ...>	当创建或修改主题的时候手动指定partition-tobroker的分配关系。
--replication-factor<Integer:replication factor>	要创建的主题分区副本数。 1表示只有一个副本，也就是Leader副本。
--topic <String.topi>	要创建、修改或描述的主题名称。 除了创建，修改和描述在这里还可以使用正则表达式。
-topics-with-overrides	if set when describing topics,  only show topics that have overridden configs
-unavalable-partitions	if set when describing topics,  only show partitions whose leader is not available
-under-replicated-partitions	if set when describing topics,  only show under replicated partitions
-zookpper<String:urls>	必需的参数：连接zookeeper的字符串， 逗号分隔的多个host:port列表。多个URL可以故障转移。

二、主题中可以使用的参数定义：

属性	默认值	服务器默认属性	说明
deanup.policy	delete	log.deanup.policy	要么是”delete“要么是”compact“；  这个字符串指明了针对旧日志部分的利用方式； 默认方式("delete")将会丢弃旧的部分 当他们的回收时间或者尺寸限制到达时。 ”compact“将会进行日志压缩。
compresslon.type	none		producer用于压缩数据的压缩类型。默认是无压缩。 正确的选项值是none、gzip、snappy。 压缩最好用于批量处理， 批量处理消息越多，压缩性能越好。
delete.retention.ms	86400000 (24hours)	log.cleaner.delete.retention.ms	对于压缩日志保留的最长时间， 也是客户端消费消息的最长时间， 通log.retention.minutes的区别在于一个控制未压缩数据，一个控制压缩后的数据。 此项配置可以在topic创建时的置顶参数覆盖
flush.ms	None	log.flush.interval.ms	此配置用来置顶强制进行fsync日志到磁盘的时间间隔； 例如，如果设置为1000，那么每1000ms就需要进行一次fsync。一般不建议使用这个选项
flush.messages	None	log.flush.interval.messages	此项配置指定时间间隔：强制进行fsync日志。 例如，如果这个选项设置为1， 那么每条消息之后都需要进行fsync，如果设置为5， 则每5条消息就需要进行一次fsync。 一般来说，建议你不要设置这个值。 此参数的设置,需要在"数据可靠性"与"性能"之间做必要的权衡.如果此值过大,将会导致每次"fsync"的时间较长(IO阻塞),如果此值过小,将会导致"fsync"的次数较多,这也意味着整体的client请求有一定的延迟.物理server故障,将会导致没有fsync的消息丢失.
index.interval.bytes	4096	log.index.interval.bytes	默认设置保证了我们每4096个字节就对消息添加一个索引，更多的索引使得阅读的消息更加靠近，但是索引规模却会由此增大；一般不需要改变这个选项
max.message.bytes	1000000	max.message.bytes	kafka追加消息的最大尺寸。 注意如果你增大这个尺寸， 你也必须增大你consumer的fetch 尺寸， 这样consumer才能fetch到这些最大尺寸的消息。
min.cleanable.dirty.ratio	0.5	min.cleanable.dirty.ratio	此项配置控制log压缩器试图进行清除日志的频率。 默认情况下，将避免清除压缩率超过50%的日志。 这个比率避免了最大的空间浪费
min.insync.replicas	1	min.insync.replicas	当producer设置request.required.acks为-1时， min.insync.replicas指定replicas的最小数目 (必须确认每一个repica的写数据都是成功的)， 如果这个数目没有达到，producer会产生异常
retention.bytes	None	log.retention.bytes	如果使用“delete”的retention 策略， 这项配置就是指在删除日志之前， 日志所能达到的最大尺寸。 默认情况下，没有尺寸限制而只有时间限制
retention.ms	7 days	log.retention.minutes	如果使用“delete”的retention策略， 这项配置就是指删除日志前日志保存的时间。
segment.bytes	1GB	log.segment.bytes	kafka中log日志是分成一块块存储的， 此配置是指log日志划分成块的大小
segment.index.bytes	10MB	log.index.size.max.bytes	此配置是有关offsets和文件位置之间映射的索引文件的大小；一般不需要修改这个配置
segment.jitter.ms	0	log.roll.jitter.{ms,hours}	The maximum jitter to subtract from logRollTimeMillis.
segment.ms	7 days	log.roll.hours	即使log的分块文件没有达到需要删除、压缩的大小， 一旦log的时间达到这个上限， 就会强制新建一个log分块文件
unclean.leader.election.enable	true		指明了是否能够使不在ISR中replicas设置用来作为leader