翔云

本文主要介绍Kafka基本原理，以及搭建过程。

问题在使用confluent-kafka-go 时遇到如下问题： $ go build t.go # pkg-config –cflags rdkafka Package rdkafka was not found in the pkg-config search path. Perhaps you should add the directory containing `r

由于前面使用sarama 包，在高并发时遇到一些问题。 本文使用的是confluent-kafka-go，在高并发环境中表现稳定。 confluent-kafka-go is Confluent’s Golang client for Apache Kafka and the Confluent Platform.编译环境搭建安装librdkafka下载$ git clone https:/

使用golang kafka sarama 包时，遇到如下问题： 高并发情况下使用同步sync producer，偶尔遇到crash: panic: interface conversion: interface {} is nil, not chan *sarama.ProducerError goroutine 413 [running]: github.com/Shopi

下载地址：https://kafka.apache.org/downloads这里下载的是kafka_2.11-0.11.0.1.tgz解压 tar -xzf kafka_2.11-0.11.0.1.tgz cd kafka_2.11-0.11.0.1启动zookeeper $ bin/zookeeper-server-start.sh config/zookeeper.proper

问题向kafka写数据，然后读kafka数据，生产的数据量和消费的数据量对不上。 开始怀疑人生，以前奠定的基础受到挑战。。。原来的测试为什么没有覆盖生产量和消费量的对比？消费者写的有问题？反复检，无果。。。再反过来梳理生产者的代码，检查了几遍，也并无发现疏漏。开始怀疑Kafka 以前看过文章，说kafka数据有可能重复和丢失数据，难道kafka的这么不精确，丢了这么多数据...

项目中需要使用python 向Kafka生产和消费数据，最初使用pykafka 。后来发现pykafka不支持client.id. 最后，终于找到confluent-kafka。python kafka推荐使用confluent-kafka，官方推荐的。 Confluent’s Apache Kafka Python client confluent-kafka-python ...