Kafka
小麒麟666
这个作者很懒,什么都没留下…
展开
-
kafka0.8.2集群的环境搭建并实现基本的生产消费
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 此处采用kafka_2.10-0.8.2.2版本进行安装部署,机器环境为ubuntu14041、下载kafka安装包并解原创 2017-07-14 17:29:30 · 3481 阅读 · 0 评论 -
kafka的c/c++高性能客户端librdkafka简介
Librdkafka是c语言实现的apachekafka的高性能客户端,为生产和使用kafka提供高效可靠的客户端,并且提供了c++接口 性能:Librdkafka 是一款专为现代硬件使用而设计的高性能库,它尝试将内存复制保持在最小,可以让用户决定是需要高吞吐量还是低延迟的服务,性能调优的两个最重要的配置是:*batch.num.messages:在发送消息之前累积在本地队列中等待翻译 2017-08-02 10:35:07 · 25024 阅读 · 0 评论 -
c语言使用librdkafka库实现kafka的生产和消费实例
关于librdkafka库的介绍,可以参考kafka的c/c++高性能客户端librdkafka简介,本文使用librdkafka库来进行kafka的简单的生产、消费一、producerlibrdkafka进行kafka生产操作的大致步骤如下:1、创建kafka配置rd_kafka_conf_t *rd_kafka_conf_new (void)2、配置kafk原创 2017-08-02 17:24:03 · 35798 阅读 · 19 评论 -
生产环境中的flume海量数据传输性能优化
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, 优化方法 java环境 channel类型 sink类型与个数 是否压缩 source已经接收到的事件总数量 写入速度 成功写入channel且提交的事件总数量 sink成功读取的channel事件的总数量 sink成功写出到存储的事件总数量 ch原创 2017-09-01 19:28:02 · 4982 阅读 · 5 评论 -
c++(11)使用librdkafka库实现kafka的消费实例
关于librdkafka库的介绍,可以参考kafka的c/c++高性能客户端librdkafka简介,本文使用librdkafka库来进行kafka的简单的消费librdkafka在c语言的基础上封装了一层c++的API,可以实现kafka的消费操作,基本操作步骤如下1、创建kafka 配置RdKafka::Conf *conf = nullptr;conf = RdKafk原创 2017-08-04 18:47:52 · 22267 阅读 · 2 评论