愿风裁尽尘中沙

elk + kafka 简单搭建日志分析系统文介绍使用ELK（elasticsearch、logstash、kibana） +　kafka来搭建一个日志系统。想象一下淘宝，它可以对不同的用户实现推荐不同的产品，它主要是通过分析我们使用淘宝产生的日志来进行推荐的。对于比较小的项目，可以把日志储存到DB中。但是并发量高了怎么办？这时候出现了ELK，但是对于双11这种活动时，那么多人同时访问，单

一、kafka Pull vs. PushProducer： Producer通过主动Push的方式将消息发布到BrokerConsumer通过Pull从Broker消费数据Push 优势：延时低，对于任何一条数据，只要broker收到了，它都可以通过push的方式将数据及时的push给consumer 劣势：对于每一条消息都push给consumer，但是并不知道consu...

Zookeeper的基本操作四种节点类型： PERSIST, PERSIST_SEQUENTIAL, EPHEMERAL, EPHEMERAL_SEQUENTIAL 可分为两种维度：可持久化：机器重启后节点任然存在，PERSIST, PERSIST_SEQUENTIAL。顺序节点：创建相同的节点，顺序节点会在后面添加序号EPHEMERAL, EPHEMERAL_SEQUENTIAL...

kafka创建topic、kafka完全删除topic、kafak修改topic分区、kafka查看topic

一、准备1、安装zookeeper集群参照：zookeeper安装与集群配置2、下载kafka官方下载：kafka_2.11-1.1.0.tgzlinux命令下载：wget 'http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz'网盘下载：链接：https://pan.bai...

一、kafka replica当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。Replica的个数小于等于Broker的个数，也就是说，对于每个Partition而言，每个Broker上最多只会有一个Replica，因此可以使用Broker id 指定Partition的Replica。所有Partition...

一、Zookeeper是什么Zookeeper是一个高性能分布式应用协调服务。它的功能包括：Naming Service、配置管理、Leader Election、服务发现、同步、Group Service、Barrier、分布式队列、两阶段提交。在Zookeeper中，znode是一个跟Unix文件系统路径相似的节点，可以往这个节点存储或获取数据。ZooKeeper使用的是ZAB协议作为...

一、ProducerProducer 特指消息的生产者，消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 producers。Producer将消息发布到指定的Topic中,同Producer也能决定将此消息归属于哪个partition;比如基于”round-robin”方式或者通过其他的一些算法等。异步发送：批量发送可以很有效的提高发送效率。Kafka prod...

一、Kafka简介kafka是LinkedIn开发的用于日志数据处理的流式消息处理系统。官网上说kafka is a distributed、partitioned、replicated commit logservice.这句话充分体现了kafka的特性。kafka是首先是一个用于处理流式数据的日志处理系统，然后他是分布式的，他支持分区便于横向拓展，他具有冗余备份功能。由Scala和Java...

Simple Consumer、Low Level Consume、High Level Consumer、Log compaction