![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
kafka以及在python中使用
kafka概念D:由Apache公司开发的一款分布式消息中间件E:处理实时数据,保证资源统一,高通量,低等待的kafka应用场景1.日志收集:收集各个分布式服务的日志进行管理,通过kafka以统一接口管理服务的方式开发给各个consumer2.消息系统:解耦,缓存消息等3.用户记录追踪:把用户浏览的web或者app的活动信息通过各个服务器发布到kafka的topic中进行实时监控分析Kafka整体...原创 2019-12-25 10:08:49 · 495 阅读 · 0 评论 -
python操作kafka
Kafka特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量[2] :即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息支持通过Kafka服务器和消费机集群来分区消息支持Hadoop并行数据加载术语:BrokerKafka集群包含一个或多个服务器,这种服务器被称为...原创 2019-12-10 11:33:54 · 151 阅读 · 0 评论 -
kafka命令大全
整理kafka相关的常用命令管理## 创建主题(4个分区,2个副本) bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topictest 查询 ## 查询集群描述 bin/kafka-topics.sh --des...原创 2019-11-27 15:27:16 · 149 阅读 · 0 评论 -
什么是kafka
什么是kafkakafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传输...原创 2019-11-19 15:27:42 · 150 阅读 · 0 评论