kafka
文章平均质量分 97
利白
这个作者很懒,什么都没留下…
展开
-
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
http://blog.csdn.net/chunlongyu/article/details/53977819在说到消息中间件的时候,我们通常都会谈到一个特性:消息的顺序消费问题。这个问题看起来很简单:Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是:无论RocketMQ,还是Kafka,缺省都不保证消息的严格有序消转载 2018-01-03 17:04:35 · 975 阅读 · 0 评论 -
关于Kafka的那些坑(topic命名,一定不要用 点"."或者 下划线"_")
https://blog.csdn.net/csdn_wangqi/article/details/79238068进来使用了Kafka消息队列,喜忧参半。细数一下,踩过的坑。1、最好不要用Windows服务器去搞,当然像本人这样被迫使用的,就硬着头皮搞。Windows服务器搭建Kafka,首先先例少。其次稳定性,个人感觉要比Linux或者Mac上差远了。Windows上,停止Kafka后,在启动...转载 2018-05-15 09:51:48 · 29054 阅读 · 4 评论 -
《kafka权威指南》读书笔记
1、2、其他主题名不建议使用"."和"_"字符。建议分区数目是broker节点的整数倍;复制系数(即副本)建议使用默认值3。原创 2018-05-17 17:31:14 · 456 阅读 · 0 评论 -
如何确定Kafka的分区数、key和consumer线程数
https://www.cnblogs.com/huxi2b/p/4757098.html在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,...转载 2018-05-02 16:48:46 · 9622 阅读 · 0 评论 -
使用自带Zookeeper搭建kafka集群
http://blog.csdn.net/jund05/article/details/78507075http://blog.csdn.net/u010246789/article/details/52104491一、依赖:Kafka依赖于Zookeeper,并且内置Zookeeper,我们可以选择独立部署Zookeeper或者使用自带的Zookeeper。这边我使用了Kafka内置的Zooke...转载 2018-03-21 15:44:18 · 1763 阅读 · 0 评论 -
我个人的kafka broker和zookeeper集群实践(★firecat推荐★)
kafka是通过zookeeper来管理集群。 kafka软件包内虽然包括了一个简版的zookeeper,但是简易版功能有限。在生产环境下,建议还是直接下载官方zookeeper软件。 http://zookeeper.apache.org/http://mirror.bit.edu.cn/apache/zookeeper/建议使用稳定版,/stable/zookeeper-3.4.10.tar....原创 2018-03-22 16:11:49 · 3836 阅读 · 0 评论 -
Kafka文档(2)----0.8.2- 基本介绍(Getting Start)
http://blog.csdn.net/beitiandijun/article/details/40423175http://kafka.apache.org/documentation.html#gettingStarted说明:原文中某些专有名词不做翻译:kafkatopicpartitionconsumerproduce转载 2018-01-30 15:51:18 · 421 阅读 · 0 评论 -
Linux下kafka之C/C++客户端库librdkafka的编译,安装以及函数介绍
https://github.com/edenhill/librdkafkalibrdkafka是一个开源的Kafka客户端C/C++实现,提供了Kafka生产者、消费者接口。一、安装librdkafka首先在github上下载librdkafka源码,解压后进行编译;cd librdkafka-masterchmod 777 configure lds-gen.py./configuremak......原创 2018-01-30 15:28:10 · 20126 阅读 · 8 评论 -
Linux qtcreator下kafka之librdkafka库的C++语言封装,实现生产和消费(★firecat推荐★)
完整源码下载地址:http://download.csdn.net/download/libaineu2004/10237535配置文件参考来源Global configuration properties: https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md源码参考https://github.com/edenh...原创 2018-02-02 16:15:35 · 2894 阅读 · 2 评论 -
Linux qtcreator下kafka之librdkafka库的C语言封装,实现生产和消费
完整源码下载地址:http://download.csdn.net/download/libaineu2004/10235565配置文件参考来源Global configuration properties: https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md源码参考\librdkafka\examples\rdk...原创 2018-01-30 17:28:51 · 1202 阅读 · 0 评论 -
Kafka入门经典教程
http://www.aboutyun.com/thread-12882-1-1.htmlhttp://orchome.com/kafka/index问题导读1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?转载 2018-01-31 15:30:04 · 251 阅读 · 0 评论 -
我个人的kafka_2.12-1.1.0实践:安装与测试,单机版(★firecat推荐★)
一、我的服务器环境:CentOS7,kafka依赖JVM环境,要求安装有JDK使用CentOS7系统,先删除自带的JDK,自带的不好用(例如jps终端命令不能用等)。下载官网完整的JDK,并设置环境变量JAVA_HOME。详情见:https://blog.csdn.net/libaineu2004/article/details/80060812[root@localhost ~]# java -...原创 2018-01-30 10:03:04 · 8327 阅读 · 0 评论 -
Kafka实践:到底该不该把不同类型的消息放在同一个主题中?
http://martin.kleppmann.com/2018/01/18/event-types-in-kafka-topic.htmlAI 前线导读: 如果你使用了像 Kafka 这样的流式处理平台,就要搞清楚一件事情:你需要用到哪些主题?特别是如果你要将一堆不同的事件作为消息发布到 Kafka,是将它们放在同一个主题中,还是将它们拆分到不同的主题中?更多优质内容请关注微信公众号“AI ...转载 2018-08-18 15:17:37 · 2070 阅读 · 0 评论