MiniCTO

flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。在最近的项目上，需要统一收集日志，然后将日志发送到kafka，架构流程如下： 在每个srv中，通过log4j中flume appender，将日志输出到kafka

查看kafka下已经创建了哪些topicbash /service/storm/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --list --zookeeper 10.99.70.51:2181,10.99.70.52:2181,10.99.70.53:2181/kafka在kafka集群中创建一个topic创建一个叫mytest的topic，副本数为1，分区数为

Kafka producer的ack有3中机制，初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。0：这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条（批）消息。此选项提供最低的延迟但最弱的耐久性保证（当服务器发生故障时某些数据会丢失，如leader已死，但producer并不知情，发出去的信