kafka
知然xu
这个作者很懒,什么都没留下…
展开
-
Kafka教程(一)—— Kafka基本原理介绍
本文会依次介绍kafka的介绍、特性、使用场景、基本概念、生产消费流程。因此前面遇到一些陌生的名词不要慌张,后面会介绍到。一、Kafka基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于...原创 2019-08-02 16:24:01 · 405 阅读 · 0 评论 -
Kafka教程(二)—— Kafka安装与命令
一、ubutun18.04下Kafka安装(1)安装jdk包 Apache Kafka是基于Java的,因此需要系统安装Java。执行以下命令,安装openJDKsudo apt updatesudo apt install default-jdk(2)下载Apache Kafka 从官网下载Apache Kafka二进制文件,进行安装# ...原创 2019-08-02 17:14:18 · 286 阅读 · 0 评论 -
Kafka教程(三)—— Python操作kafka
kafka的producer是支持多线程的因为其会把topic里面的消息存储在各个partition里面,可以多线程操作。但是consumer不支持多线程,如果多线程操作的话,会造成offset紊乱无序。下面我们从两部分来介绍python是如何操作kafka的。 第一部分是只有一个position的topic,此时我们模拟一个发布-订阅模式,即多个consumer...原创 2019-08-02 17:43:03 · 4681 阅读 · 0 评论