C++ 向kafka中发送数据

kafka是一个分布式流处理的平台，通过kafka我们可以发布和订阅流式记录。有关kafka的介绍可以参考官网或者这篇文章 https://juejin.im/post/6844903495670169607 ，介绍的非常的详细。
我个人喜欢把kafka当做数据库去理解，因为它也有存放数据的功能，但是还是与数据库是不一样的。
kafka中多个broker称为一个集群，一个broker（独立的kafka服务器）中可以创建不同的topic（主题），topic下可以建立多个partition（分区），数据则存放在分区中的一个单元里面（partition可以近似理解为一个数组，存入kafka的一条记录就存放在partition1[0]、partition1[1]…）。
生产者向kafka中生产数据，即把数据推入kafka中，消费者消费kafka中的数据，一个主题可以被多个消费者消费，这个是不同于数据库的地方。

下面介绍kafka在Linux下的简单使用
1 使用流程
2 问题及解决办法
3 代码示例

1 使用流程

首先服务器上必须已经安装好kafka！
1、在GitHub上下载librdkafka-master.zip安装文件，解压到文件夹https://github.com/edenhill/librdkafka
2、编译文件
cd librdkafka-master //cd到刚刚解压到的文件目录下
chmod 777 configure lds-gen.py
./confgure
make
make install
3、新建文件夹用于存放代码
4、在搭建好的kafka服务器上新建主题"test1"
./kafka-topics.sh --create --zookeeper localhost:2198–replication-factor1 --partitions1 --topic test1
2193是kafka所在的端口，根据自己的实际情况设置 。
5、将/usr/local/lib路径下的librdkafka++.a、librdkafka++.so、librdkafka.so.1放入自己创建的代码的文件夹下；
6、rdkafkacpp.h头文件加入创建的代码文件夹下，并在代码中引入头文件#include “rdkafkacpp.h”
7、在代码中设置broker和topic
std::string brokers=“127.0.0.1:9092”; //地址为kafka服务器地址，这里是随便写的
std::string topic=“test1” //主题为kafka中存在的主题
8、编译代码时加入 -lstdc++ -lrdkafka -lrdkafka++ -lrt -lpthread -L.

2 问题及解决办法

1、Connection refused
thrd:localhost:9092/bootstrap: Connection to ipv6#[::1]: 9092 failed : Connection refused
此类问题是由于地址设置不正确，没有将brokers地址设置为kafka所在的服务器地址，且服务器地址不能使用localhost代替。

2、搭建的kafka上查看不到创建的主题
可以查看rdkafkacpp.h头文件，调用的函数是哪一个，有的函数里的参数里面的topic主题必须是kafka上已经存在的主题。

3、Disconnected While requesting ApiVersion
Disconnected While requesting ApiVersion: might be caused by incorrect security. protocol configuration (connecting to a SSL listener?) or broker version is < 0.10
这个问题是由于代码中brokers的服务端口设置错误导致，应该设置为9092（配置文件中的默认端口）：
std::string brokers = “ip::9092”;

4、代码存放的位置不一定与kafka在同一位置上，只要代码中的brokers的地址设置为kafka所在的服务器地址即可。

代码示例

这个是参考github上面的代码改的producer.cpp
想要把代码运行起来，需要参考上面的 1 使用流程 进行设置

#include <iostream>
#include <string>
#include <cstdlib>
#include <cstdio>
#include <csignal>
#include <cstring>
#if _AIX
#include <unistd.h>
#endif

#include "rdkafkacpp.h"

static volatile sig_atomic_t run = 1;

static void sigterm (int sig) {
run = 0;
}

//成功发送一次信息调用一次回调函数
class ExampleDeliveryReportCb : public RdKafka::DeliveryReportCb {
public:
    void dr_cb (RdKafka::Message &message) {
    /* If message.err() is non-zero the message delivery failed permanently for the message. */
    if (message.err())
      std::cerr << "% Message delivery failed: " << message.errstr() << std::endl;
    else
      std::cerr << "% Message delivered to topic " << message.topic_name() <<
       " [" << message.partition() << "] at offset " <<
     message.offset() << std::endl;
    }
};

int main () {

std::string brokers = "127.0.0.1:9092";  //这里的IP地址应该设置为kafka所在服务器地址
std::string topic = "test";    //设置主题
std::string errstr;

//设置配置
RdKafka::Conf *conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);

if (conf->set("bootstrap.servers", brokers, errstr) !=
    RdKafka::Conf::CONF_OK) {
    std::cerr << errstr << std::endl;
    exit(1);
}

signal(SIGINT, sigterm);
signal(SIGTERM, sigterm);

ExampleDeliveryReportCb ex_dr_cb;

if (conf->set("dr_cb", &ex_dr_cb, errstr) != RdKafka::Conf::CONF_OK) {
  std::cerr << errstr << std::endl;
  exit(1);
}

//创建 producer 
RdKafka::Producer *producer = RdKafka::Producer::create(conf, errstr);
if (!producer) {
  std::cerr << "Failed to create producer: " << errstr << std::endl;
  exit(1);
}

delete conf;

/*
 * Read messages from stdin and produce to broker.
 */
std::cout << "% Type message value and hit enter " <<
"to produce message." << std::endl;

for (std::string line; run && std::getline(std::cin, line);) {
  if (line.empty()) {
    producer->poll(0);
    continue;
  }

//将message传入队列中
retry:
  RdKafka::ErrorCode err =
    producer->produce(topic,
                      RdKafka::Topic::PARTITION_UA,   //随机分区
                      /* Make a copy of the value */
                      RdKafka::Producer::RK_MSG_COPY /* Copy payload */,
                      /* Value */
                      const_cast<char *>(line.c_str()), line.size(),  //需要写入的数据
                       /* Key */
                      NULL, 0,
                      /* Timestamp (defaults to current time) */
                      0,
                      /* Message headers, if any */
                      NULL,
                      /* Per-message opaque value passed to
                       * delivery report */
                      NULL);

  if (err != RdKafka::ERR_NO_ERROR) {
    std::cerr << "% Failed to produce to topic " << topic << ": " <<
      RdKafka::err2str(err) << std::endl;

    if (err == RdKafka::ERR__QUEUE_FULL) {    //存放数据的队列已满，将执行等待
      producer->poll(1000);
      goto retry;
    }

  } else {
    std::cerr << "% Enqueued message (" << line.size() << " bytes) " <<
    "for topic " << topic << std::endl;
  }

  producer->poll(0);  //保持常态
}

std::cerr << "% Flushing final messages..." << std::endl;
producer->flush(10*1000 /* wait for max 10 seconds */);

run = true ;   //之前因为没有加这个就报错了

if (producer->outq_len() > 0)  //发送数据
  std::cerr << "% " << producer->outq_len() <<
          " message(s) were not delivered" << std::endl;

delete producer;

return 0;
 }

--------如有侵权，联系删除！