hadoop-kafka
CalicoBox
人生苦短,唯有全栈。青青子衿,还有诗意。
进了大数据的坑,走的磕磕绊绊,想想还是帮后来人把坑填一填吧。
(关于博客,内容全是记录在xx云笔记上的杂物,当时没有想到会要搬到博客上,所以有些内容会与其他博客相同,毕竟就是复制粘贴的,若有侵权,告知必改!还望谅解。)
展开
-
对kafka的初步了解
Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: ● 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 ● 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 ● 支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输原创 2017-08-04 17:31:35 · 435 阅读 · 0 评论 -
kafka基础使用方法(java)
Producer/Comsumer Demo源代码见: https://github.com/CalicoBox/True-Time-Count-Demo原创 2017-08-04 17:50:17 · 1067 阅读 · 0 评论 -
Python中使用Kafka
感觉python连接kafka比Scala(java)方便多了,但是总有遇到奇怪需求的时候(白身后的部门经理一眼):Java连接Kafka的方法与demo操作步骤:1.安装依赖包 python连接kafka需要额外的依赖包,幸运的是python有提供,直接通过pip安装pykafka即可。 2.producer:>>> from pykafka import KafkaClient>>> cl原创 2017-08-04 17:55:10 · 2377 阅读 · 0 评论