kakfa
文章平均质量分 58
mengmengdastyle
天地有情尽白发,人间无意了沧桑!
展开
-
分布式消息系统:Kafka(一)简介
1、简介 kafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点:发布和订阅功能,类似于消息系统以容错的方式记录流处理流Kafka通常用于构建在系统或应用之间的实时数据流管道、构建实时流应用程序用于转换和响应数据流。1.1 简介 kaf...转载 2018-09-01 15:59:10 · 2939 阅读 · 0 评论 -
分布式消息系统:Kafka(二)使用场景和(三)设计原理
2、使用场景 通常用来解耦、异步通信、流量控制。从而构建一个高效、灵活、消息同步和异步传输处理、存储转发、可伸缩和最终一致性的系统平台。目前流行的消息系统有Kafka、RocketMQ、RabbitMQ、ZeroMQ、ActivieMQ、MetaMQ、Redis(属于NoSQL但是具有发布订阅功能),各有所长。 不过Kafka常用在高吞吐量和支持大量积压的环境中、应用系统监控、网站用户...转载 2018-09-01 16:05:03 · 349 阅读 · 0 评论 -
分布式消息系统:Kafka(四)集群
4、集群 kafka集群的搭建需要在zookeeper集群的基础上进行搭建。 集群搭建,之后补存上吧。4.1 zookeeper集群搭建4.2 kakfa集群搭建原创 2018-09-01 16:11:19 · 224 阅读 · 0 评论 -
分布式消息系统:Kafka(五)偏移量
5、偏移量提交5.1 偏移量(1)新旧版本偏移量的变化 在Kafka0.9版本之前消费者保存的偏移量是在zookeeper中/consumers/GROUP.ID/offsets/TOPIC.NAME/PARTITION.ID。新版消费者不在保存偏移量到zookeeper中,而是保存在Kafka的一个内部主题中“consumer_offsets”,该主题默认有50个分区,每个分区...转载 2018-09-01 16:25:17 · 12794 阅读 · 0 评论 -
分布式消息系统:Kafka(六)命令
6、命令6.1 kafka在Zookeeper上的节点 (1)进入客户端的命令:{zookeeper目录}/bin/zkCli.sh (2)ls / 显示zookeeper根目录下的子节点,其中kafka的broker在zookeeper根目录注册了brokers节点 显示所有topic主题: 显示test190这个topic下的partitions的子节点 ...原创 2018-09-01 16:31:00 · 236 阅读 · 0 评论 -
分布式消息系统:Kafka(七)日志管理
kafka消息是通过主题来进行组织和区分的,每个主题有分为零个或多个分区,分区数量可以在创建时指定也可以后期修改,不过修改只能增加不能删除,每个分区又有一个或多个副本,副本中会有一个副本被选做Leader副本,该副本对外提供读写操作,其他副本则是Follower。生产者发送消息到Leader副本的代理节点上,Follower副本从Leader同步数据。 **分区的每个副本对应到一个Lo...转载 2018-09-01 16:33:26 · 1174 阅读 · 0 评论 -
分布式消息系统:Kafka(八)一些问题
8、问题8.1 Zookeeper的作用,没有Zookeeper的情况下使用Kafka? Zookeeper是一个开放源码、高性能的协调服务。一旦Zookeeper停止工作,它就不能服务客户端的请求。Zookeeper主要用于在集群中不同节点之间进行通信在Kafka中,它被用于提交偏移量,因此如果节点在任何情况下都失败了,它都可以从之前提交的偏移量中获取除此之外,它还执行其...转载 2018-09-01 16:39:51 · 741 阅读 · 0 评论 -
分布式消息系统:Kafka(九)应用Spring Boot实现消费者和生产者
一、项目(1)新建Spring Boot项目,参考以下创建过程; 创建一个Spring Boot项目 (2)pom文件中添加spring-kafka框架<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka<...原创 2018-09-03 16:30:58 · 1877 阅读 · 0 评论