VS2013中使用kafka

最新推荐文章于 2024-05-15 15:10:38 发布
最新推荐文章于 2024-05-15 15:10:38 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MikeDai/article/details/79113578
版权

编译librdkafka，下载地址：https://github.com/edenhill/librdkafka，不得不感激强大的GitHub，上面几乎你要的开源代码都有。另外需要下载zlib，openssl，下载地址：https://github.com/ShiftMediaProject/openssl，https://github.com/ShiftMediaProject/zlib，三个工程解压到同一个目录下。

编译librdkafka可能会遇到的问题：
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: isdigit already defined in LIBCMT.lib(_ctype.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: isalnum already defined in LIBCMT.lib(_ctype.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: qsort already defined in LIBCMT.lib(qsort.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: memchr already defined in LIBCMT.lib(memchr.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: tolower already defined in LIBCMT.lib(tolower.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: strspn already defined in LIBCMT.lib(strspn.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: strerror_s already defined in LIBCMT.lib(strerror.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: _stat64i32 already defined in LIBCMT.lib(stati32.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: abort already defined in LIBCMT.lib(abort.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: _errno already defined in LIBCMT.lib(dosmap.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: fclose already defined in LIBCMT.lib(fclose.obj)
1>MSVCRT.lib(MSVCR120.dll) : error LNK2005: fflush already defined in LIBCMT.lib(fflush.obj)
这里只取了其中一个部分，函数重定义问题。解决办法：
这里写图片描述
把Runtime Library 改为：Multi-threaded DLL（/MD），再编译，通过。

封装produce：

#ifndef __KAFKA_PRODUCE_H
#define __KAFKA_PRODUCE_H

#include <string>
#include <iostream>
#include "kafka/rdkafkacpp.h"

class KafkaProduce :public RdKafka::EventCb, public RdKafka::DeliveryReportCb
{
public:
    KafkaProduce();
    ~KafkaProduce();
public:
    void event_cb(RdKafka::Event &event);
    void dr_cb(RdKafka::Message &message);
public:
    bool Init(const char*  topic, const char* broker);
    void ProduceMsg(std::string msg);
    void Destroy();
private:
    std::string mTopic;
    std::string mBroker;
private:
    RdKafka::Conf*  mConf;
    RdKafka::Conf*  mTConf;
    RdKafka::Producer*  mProducer;
    RdKafka::Topic *  mKTopic;
    int32_t           mPartition;
};

#endif

实现：

#include "KafkaProduce.h"
#include <iostream>

KafkaProduce::KafkaProduce()
{
    mConf = NULL;
    mTConf = NULL;
    mProducer = NULL;
    mKTopic = NULL;
}


KafkaProduce::~KafkaProduce()
{
    Destroy();
}

void KafkaProduce::event_cb(RdKafka::Event &event) 
{
    switch (event.type())
    {
    case RdKafka::Event::EVENT_ERROR:
        std::cerr << "ERROR (" << RdKafka::err2str(event.err()) << "): " <<
            event.str() << std::endl;
        if (event.err() == RdKafka::ERR__ALL_BROKERS_DOWN)
            ;// run = false;
        break;

    case RdKafka::Event::EVENT_STATS:
        std::cerr << "\"STATS\": " << event.str() << std::endl;
        break;

    case RdKafka::Event::EVENT_LOG:
        fprintf(stderr, "LOG-%i-%s: %s\n",
            event.severity(), event.fac().c_str(), event.str().c_str());
        break;

    default:
        std::cerr << "EVENT " << event.type() <<
            " (" << RdKafka::err2str(event.err()) << "): " <<
            event.str() << std::endl;
        break;
    }
}

void KafkaProduce::dr_cb(RdKafka::Message &message) 
{
    std::cout << "Message delivery for (" << message.len() << " bytes): " <<
        message.errstr() << std::endl;
    if (message.key())
        std::cout << "Key: " << *(message.key()) << ";" << std::endl;
}

bool KafkaProduce::Init(const char*  topic, const char* broker)
{
    mBroker = broker;
    mTopic = topic;
    std::string errstr;
    std::string mode = "P";
    mPartition = RdKafka::Topic::PARTITION_UA;
    mConf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);
    mTConf = RdKafka::Conf::create(RdKafka::Conf::CONF_TOPIC);

    mConf->set("metadata.broker.list", mBroker, errstr);


    mConf->set("event_cb", (RdKafka::EventCb*)this, errstr);

    /* Set delivery report callback */
    mConf->set("dr_cb", (RdKafka::DeliveryReportCb*)this, errstr);
    mProducer = RdKafka::Producer::create(mConf, errstr);

    if (!mProducer)
    {
        return false;
    }
    std::cout << "% Created producer " << mProducer->name() << std::endl;

    /*
    * Create topic handle.
    */
    mKTopic = RdKafka::Topic::create(mProducer, mTopic,
        mTConf, errstr);
    if (!topic) {
        std::cerr << "Failed to create topic: " << errstr << std::endl;
        return false;
    }
    return true;
}

void KafkaProduce::ProduceMsg(std::string msg)
{   
    mProducer->poll(0);
    RdKafka::ErrorCode resp =
        mProducer->produce(mKTopic, mPartition,
        RdKafka::Producer::RK_MSG_COPY /* Copy payload */,
        const_cast<char *>(msg.c_str()), msg.size(),
        NULL, NULL);
    if (resp != RdKafka::ERR_NO_ERROR)
        std::cerr << "% Produce failed: " <<
        RdKafka::err2str(resp) << std::endl;
    else
        std::cerr << "% Produced message (" << msg.size() << " bytes)" <<
        std::endl;

    mProducer->poll(0);
}

void KafkaProduce::Destroy()
{
    if (mProducer)
    {
        while (mProducer->outq_len() > 0)
        {
            //std::cerr << "Waiting for " << mProducer->outq_len() << std::endl;
            mProducer->poll(1000);
        }
    }
    if (mKTopic)
    {
        delete mKTopic;
        mKTopic = NULL;
    }
    if (mProducer)
    {
        delete mProducer;
        mProducer = NULL;
    }
    if (mTConf)
    {
        delete mTConf;
        mTConf = NULL;
    }
    if (mConf)
    {
        delete mConf;
        mConf = NULL;
    }
}

测试代码：

void TestProduce()
{
    KafkaProduce produce;
    const char* brokers = "127.0.0.1:9000";
    const char* topic = "TOPIC_TEST";
    if (!produce.Init(topic, brokers))
    {
        return;
    }
    /*
    * Read messages from stdin and produce to broker.
    */
    for (std::string line; std::getline(std::cin, line);)
    {
        if (line.size() == 0)
        {
            break;
        }   
        produce.ProduceMsg(line);
    }
    produce.Destroy();
}

comsume封装:

#ifndef  __KAFKA_CONSUMER_H
#define  __KAFKA_CONSUMER_H

#include <string>
#include <iostream>
#include "kafka/rdkafkacpp.h"

#ifdef _MSC_VER
#include <atltime.h>
#elif _AIX
#include <unistd.h>
#else
#include <getopt.h>
#include <unistd.h>
#endif

class KafkaConsumer :public RdKafka::RebalanceCb, public RdKafka::EventCb
{
public:
    KafkaConsumer();
    ~KafkaConsumer();
public:
    bool Init(const char*  topic, const char* broker, const char* group_id);
    void DoConsumeMsg();
    void Destroy();
    void MsgConsume(RdKafka::Message* message);
public:
    void event_cb(RdKafka::Event &event);
    void rebalance_cb(RdKafka::KafkaConsumer *consumer,
        RdKafka::ErrorCode err,
        std::vector<RdKafka::TopicPartition*> &partitions);
private:
    std::string mTopic;
    std::string mBroker;
private:
    RdKafka::KafkaConsumer* mConsumer;
};

#endif

comsumer实现：

#include "KafkaConsumer.h"


KafkaConsumer::KafkaConsumer()
{
    mConsumer = NULL;
}


KafkaConsumer::~KafkaConsumer()
{
}

bool KafkaConsumer::Init(const char*  topic, const char* broker, const char* group_id)
{  
    std::string errstr;
    std::vector<std::string> topics;
    RdKafka::Conf *conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);
    RdKafka::Conf *tconf = RdKafka::Conf::create(RdKafka::Conf::CONF_TOPIC);
    conf->set("rebalance_cb", (RdKafka::RebalanceCb*)this, errstr);

    if (conf->set("group.id", group_id, errstr) != RdKafka::Conf::CONF_OK) {
        std::cerr << errstr << std::endl;
        return false;
    }
    topics.push_back(topic);
    conf->set("metadata.broker.list", broker, errstr);

    conf->set("event_cb", (RdKafka::EventCb*)this, errstr);
    conf->set("default_topic_conf", tconf, errstr);
    delete tconf;

    /*
    * Create consumer using accumulated global configuration.
    */
    mConsumer = RdKafka::KafkaConsumer::create(conf, errstr);
    if (!mConsumer) {
        std::cerr << "Failed to create consumer: " << errstr << std::endl;
        return false;
    }

    delete conf;

    std::cout << "% Created consumer " << mConsumer->name() << std::endl;


    /*
    * Subscribe to topics
    */
    RdKafka::ErrorCode err = mConsumer->subscribe(topics);
    if (err) {
        std::cerr << "Failed to subscribe to " << topics.size() << " topics: "
            << RdKafka::err2str(err) << std::endl;
        return false;
    }
    return true;
}

void KafkaConsumer::DoConsumeMsg()
{
    while (1) {
        RdKafka::Message *msg = mConsumer->consume(1000);
        MsgConsume(msg);
        delete msg;
    }
}

void KafkaConsumer::event_cb(RdKafka::Event &event)
{
    switch (event.type())
    {
    case RdKafka::Event::EVENT_ERROR:
        std::cerr << "ERROR (" << RdKafka::err2str(event.err()) << "): " <<
            event.str() << std::endl;
        if (event.err() == RdKafka::ERR__ALL_BROKERS_DOWN)
            ;// run = false;
        break;

    case RdKafka::Event::EVENT_STATS:
        std::cerr << "\"STATS\": " << event.str() << std::endl;
        break;

    case RdKafka::Event::EVENT_LOG:
        fprintf(stderr, "LOG-%i-%s: %s\n",
            event.severity(), event.fac().c_str(), event.str().c_str());
        break;

    case RdKafka::Event::EVENT_THROTTLE:
        std::cerr << "THROTTLED: " << event.throttle_time() << "ms by " <<
            event.broker_name() << " id " << (int)event.broker_id() << std::endl;
        break;

    default:
        std::cerr << "EVENT " << event.type() <<
            " (" << RdKafka::err2str(event.err()) << "): " <<
            event.str() << std::endl;
        break;
    }
}

void KafkaConsumer::rebalance_cb(RdKafka::KafkaConsumer *consumer,
    RdKafka::ErrorCode err,
    std::vector<RdKafka::TopicPartition*> &partitions)
{
    std::cerr << "RebalanceCb: " << RdKafka::err2str(err) << ": ";

    //part_list_print(partitions);

    if (err == RdKafka::ERR__ASSIGN_PARTITIONS) {
        consumer->assign(partitions);
        //partition_cnt = (int)partitions.size();
    }
    else {
        consumer->unassign();
        //partition_cnt = 0;
    }
    //eof_cnt = 0;
}

void KafkaConsumer::MsgConsume(RdKafka::Message* message)
{
    switch (message->err()) {
    case RdKafka::ERR__TIMED_OUT:
        break;

    case RdKafka::ERR_NO_ERROR:
        /* Real message */
            printf("%.*s\n",
                static_cast<int>(message->len()),
                static_cast<const char *>(message->payload()));
        break;

    case RdKafka::ERR__PARTITION_EOF:
        /* Last message */
        //if (exit_eof && ++eof_cnt == partition_cnt) {
        //  std::cerr << "%% EOF reached for all " << partition_cnt <<
        //      " partition(s)" << std::endl;
        //  //run = false;
        //}
        break;

    case RdKafka::ERR__UNKNOWN_TOPIC:
    case RdKafka::ERR__UNKNOWN_PARTITION:
        std::cerr << "Consume failed: " << message->errstr() << std::endl;
        //run = false;
        break;

    default:
        /* Errors */
        std::cerr << "Consume failed: " << message->errstr() << std::endl;
        //run = false;
    }
}

void KafkaConsumer::Destroy()
{
    if (mConsumer)
    {
        delete mConsumer;
        mConsumer = NULL;
    }
}

comsumer测试：

void TestConsumer()
{
    KafkaConsumer consumer;
    const char* brokers = "127.0.0.1:9000";
    const char* topic = "TOPIC_TEST";
    if (!consumer.Init(topic, brokers,"0"))
    {
        return;
    }
    /*
    * Read messages from stdin and produce to broker.
    */
    consumer.DoConsumeMsg();
    consumer.Destroy();
}
MikeDai
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
vscode-kafka:用于Visual Studio Code的kafka扩展
03-10
用于Visual Studio Code的Kafka扩展 直接在Visual Studio Code中使用Kafka。 支持运行0.11或更高版本的Kafka集群。 特征： 连接到多个集群 查看集群中的代理 查看主题 查看配置 创建/删除主题 产生（随机）消息 消费信息 SASL / PLAIN，SASL / SCRAM-256，SASL / SCRAM-512身份验证（Kafka 0.10+） 计划中的功能没有特定的顺序： 更多管理功能 使vscode-kafka可扩展 改善消费者DSL 更新配置 您可能还会在找到有用的信息，或者可以使用Ctrl+Shift+P提供的“ Open Documentation ”命令在编辑器中阅读此文档： 卡夫卡探险家 Kafka资源管理器显示已配置的集群及其主题，代理，使用者和配置。 有关更多信息，请参见部分。 产生讯息 使用以下格式在文件
Windows下编译的librdkafkacpp库,包含openssl等
05-15
使用vs2017在windows10下编译生成的库文件有c和c++两个版本,可以在vc++和qt使用
win10下vs2013编译librdkafka(64位）
weixin_43993117的博客
03-12 998
1.资源下载 librdkafka下载：https://github.com/edenhill/librdkafka ActivePerl下载：https://www.activestate.com/products/activeperl/downloads/ openssl下载：https://pan.baidu.com/s/1jqIdBiA5CUBFHmJIpkXL6A 2. win10下vs...
librdkafka64位编译过程及问题
hghckyfdkuyflk的博客
05-15 479
librdkafka在win下编译64位可用库的参考及问题记录
<kafka><应用场景><Kafka VS Flume>
weixin_30655569的博客
05-17 79
前言 最近在搭一个离线Hadoop + 实时SparkStreaming的日志处理系统，然后发现基本上网上的这种系统都集成了kafka。 自己对kafka有一点点的认识，之前看过官网文档，用过一次，就了解到它是个消息队列。好像说是比起其他的消息队列，对多subscriber更友好。 所以google了一些kafka的应用场景，来加深一下理解。 Use Cases Kafka ...
kafka 客户端 vscode 插件
global_coding的博客
04-08 2821
kafka，vscode
Kafka .Net Framework4.0 版本
09-26
在.NET Framework 4.0版本中，这个库已经包含了所有必要的依赖，包括Visual C++ Redistributable Packages for Visual Studio 2013，这意味着开发者无需额外安装即可直接使用，简化了部署流程。 使用Kafka .Net库，...
Introduction to Apache Kafka.pdf
最新发布
07-02
- 2015年开始支持CDH中的生产使用。 - **核心特点**： - **可扩展性**：Kafka是一个分布式系统，支持多个节点。 - **容错性**：数据持久化到磁盘，并在集群内进行复制。 - **高吞吐量**：每个代理都能处理大量...
kafka0.8官网下载
12-13
Kafka 0.8 是 2013 年左右发布的一个稳定版本，它引入了许多关键特性，如副本复制和消费者组，使得 Kafka 更加健壮和适合企业级应用。 2. **副本复制** 在 Kafka 0.8 中，每个主题（Topic）的分区（Partition）都...
Apache Kafka Quick Start Guide-Packt Publishing(2018)
04-18
Apache Kafka Quick Start Guide-Packt Publishing(2018)，epub格式，欢迎下载
尚硅谷大数据Kafka
10-18
Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
librdkafka-master
12-23
kafkaC和C++第三方接口，里面有C的接口并且封装了C++的接口，还有两个供大家学习的例子
librdkafka win7 64位 vs2015编译Release版本
02-01
在win7使用vs2015编译kafka开发版本运行库。包含静态库与动态库。以及对应的完整PDB文件
librdkafka动态库及开发文档
05-26
自己编译的librdkafka win32动态库以及原生的librdkafka API开发文档，分享给大家希望能给大家带来方便
librdkafka_x86-windows.rar
10-20
librdkafka 是 Apache Kafka 的 C/C++ 开发包，提供生产者、消费者和管理客户端。设计理念是可靠以及高性能的消息传输，当前可支持每秒超过 100 万的消息生产和 300 万每秒的消息消费。编译文件包含c和c++文件，编译工具vcpkg
librdkafka 0.8
07-31
librdkafka 0.8 源码 我的博客文章《librdkafka 0.8 源码解析与bug分析》中分析的源码就是这一份代码。 librdkafka 的官网 https://github.com/edenhill/librdkafka/tree/0.8-wip 说明：这份代码是我现在能够看到的最新的代码，在未来的版本中代码会发生改动。代码中存在一个bug，详见我的博客文章《librdkafka 0.8 源码解析与bug分析》。
使用VS2017编译 Kafka C/C++ win32 Client
chunyanhui9595的博客
12-16 1001
最近项目上需要使用Kafka用户C++和Java之间的通讯。 所以需要编译Kafkac++的dll库。 Kafka官方推荐librdkafka，其中有win32的源码。故尝试使用VS2017编译此源码。 关于win32的编译 ，github有说明： 需要Zlib和OpenS...
Kafka部署与应用
IT天空-我是一滴雨水
05-20 608
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。 其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
使用librdkafka 封装的 C++类
xpg4321的博客
08-29 7738
kafka就不介绍了， 可以参考kafka的c/c++高性能客户端librdkafka简介，下面说下librdkafka的编译： 下载地址：https://github.com/edenhill/librdkafka，下载zip包解压。 解压后找到目录下的win32目录， 里面是vs工程。 这里还不能编译，因为缺少openssl，需要编译openssl。 下载ActivePerl：http
VS2008 使用 kafka
05-12
Visual Studio 2008 是一个集成开发环境（IDE），主要用于 Windows 平台上的软件开发。它不直接支持 Kafka，但是你可以使用第三方库来连接 Kafka。 一些流行的 Kafka 客户端库包括： 1. librdkafka：这是一个 C/C++ 客户端库，支持许多语言，包括 C/C++, Python, Java, .NET, Ruby 等。 2. Kafka-net：这是一个 C# 客户端库，用于 .NET 平台上的应用程序。 3. confluent-kafka-dotnet：这是一个 .NET 客户端库，它提供了高级别的 Kafka 消费者和生产者，以及 Avro 支持等功能。 你可以在 Visual Studio 2008 中使用这些客户端库，以便连接和使用 Kafka。 如果你要在 Visual Studio 2008 中使用这些客户端库，则需要在项目中添加相应的依赖项，并将头文件和库文件包含到你的代码中。具体操作步骤可能因客户端库而异，建议查阅相关客户端库的文档以获取更详细的指导。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值