在本地配置的单机kafka环境中，作者遇到topic丢失的问题。通过检查发现，问题在于zookeeper的数据目录和kafka的日志目录配置不当。通过将zookeeper的数据目录改为自定义目录，调整kafka的日志目录并设置合适的flush策略确保数据写入磁盘，成功解决了topic在重启后丢失的故障。
这个问题，在线上集群环境一般不容易出现，因为相关的日志文件参数都已经配置好了，而且经受住时间的的验证了。
作为新手，我在本地配置了一个单机kafka，用得是kafka自带的zookeeper服务。
kafka安装很简单如下：
1).下载kafka:
wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
2) 解压：
tar -zxf kafka_2.10-0.10.1.0.tgz
3）启动zookeeper，kafka
> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
现在启动Kafka:
> bin/kafka-server-start.sh config/server.properties &
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
最低0.47元/天 解锁文章
1631
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
