kafka
废物点心777
这个作者很懒,什么都没留下…
展开
-
【spark】spark streaming 和flume、kafka整合
文章目录一、Spark Streaming整合flumePoll方式Push方式二、Spark Streaming整合kafkaKafkaUtils.createDstreamKafkaUtils.createDirectStreamStreamingContext.getOrCreate一、Spark Streaming整合flumeflume作为日志实时采集的框架,可以与SparkStre...原创 2020-04-29 17:05:00 · 618 阅读 · 0 评论 -
【kafka】kafka介绍 kafka和消息队列的区别 & kafka的系统架构
文章目录Kafka介绍kafka与ActiveMQ区别消息队列的作用kafka的架构模型Kafka介绍Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐量、低延迟的平台。Kafka是一个分布式消息队列:生产者、消费者的功能。 它提供了类似于JMS的特性,但是在设计实现上完全不同...原创 2020-04-14 23:06:39 · 698 阅读 · 0 评论 -
【kafka】kafka消费策略 & kafka存储机制 & segment file & 稀疏存储
文章目录前言kafka消费策略kafka存储机制数据消费问题讨论Segment文件特点kafka的稀疏存储总结前言这篇写了kafka的几个比较复杂的特性kafka消费策略结论:在同一个消费者组中,不同的线程在同一时间不能够处理同一分区中的数据,也就是说在同一时间一个线程只能消费一个分区数据在不同的消费者里面,不同的线程在同一时间可以消费同一分区中的数据多个线程在消费数据...原创 2020-04-14 20:00:53 · 1758 阅读 · 0 评论 -
【kafka】kafka集群安装部署 and kafka操作命令介绍
文章目录前言一、安装zookeeper二、kafka的安装三、kafka集群启动和停止四、kafka的命令行的管理使用前言之前有篇写kafka集群的搭建,但是不太完整,重新整理了一篇 。更强调实验。包括topic创建、查看 producer生产 consumer去消费。zookeeper这里就没讲安装步骤 可以直接去有一篇写好的看然后这里我的集群是 had-node2 had-node3 ...原创 2020-04-14 18:34:49 · 360 阅读 · 0 评论 -
【kafka】kafka的集群部署和测试&zookeeper的集群部署
文章目录一、下载安装包及解压二、修改配置文件三、把配置文件发给其他两个节点四、验证环境(三台都执行)五、启动命令六、启动命令行之后1、创建一个topic的命令2、创建一个生产者的命令3、创建一个消费者的命令4、删除一个topic5、查看topic的描述信息六、测试发送消息消费消息七、出现的问题:一、下载安装包及解压解压文件tar -zxvf kafka_2.11-1.0.0.tgz -C...原创 2020-03-06 23:56:19 · 229 阅读 · 0 评论