Kafka
文章平均质量分 51
谦卑t
终身学习
展开
-
【图文详细 】Kafka消息队列——Kafka 的各种 API 操作
7.1、Kafka 的 API 分类 1、The Producer API 允许一个应用程序发布一串流式的数据到一个或者多个 Kafka Topic。 2、The Consumer API 允许一个应用程序订阅一个或多个 Topic ,并且对发布给他们的流式数据进行处理。 3、The Streams API 允许一个应用程序作为一个流处理器,消费一个或者多个 Topic 产生...原创 2018-12-13 14:20:51 · 1729 阅读 · 0 评论 -
Kafka性能测试分析
首先要特别感谢赵崇贺同学利用业余时间进行的压测,才能为本文提供专业的测试数据一、测试环境准备 Cpu 内存 硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz 32G 6TKafka集群,服务器个数:3台 采用CMS垃圾回收 JVM运行参数-Xmx1G -Xms...原创 2019-01-18 18:33:51 · 253 阅读 · 0 评论 -
【图文详细 】Kafka消息队列——kafka 集群部署
5.1、Kafka 初体验 单机 Kafka 试玩 官网网址:http://kafka.apache.org/quickstart中文官网:http://kafka.apachecn.org/quickstart.html 5.2、集群部署的基本流程总结 1、下载安装包2、解压安装包到对应的目录3、修改配置文件4、分发安装包5、启动集群,进行验证 5.3、集群部...原创 2018-12-12 13:58:25 · 461 阅读 · 0 评论 -
【图文详细 】Kafka消息队列——Kafka的核心组件
4.1、kafka的核心组件概述 Kafka 是 LinkedIn 用于日志处理的分布式消息队列,同时支持离线和在线日志处理。 Kafka 对消息保存时根据 Topic 进行归类:发送消息者就是 Producer,消息的发布描述为 Producer 消息接受者就是 Consumer,消息的订阅描述为 Consumer 每个 Kafka 实例称为 Broker,将中间的存储阵...原创 2018-12-10 23:49:16 · 617 阅读 · 0 评论 -
【图文详细 】Kafka从入门到实战(自学者7篇足以)
1、Kafka是什么2、Kafka优点3、Kafka应用场景4、Kafka的核心组件5、kafka 集群部署6、Kafka 的各种 Shell 操作7、Kafka 的各种 API 操作转载请标明出处:https://blog.csdn.net/qq_42246689来几副图瞅一瞅:原创 2018-12-10 19:44:26 · 1059 阅读 · 0 评论 -
【图文详细 】Kafka消息队列——Kafka的应用场景
3.1、消息系统Kafka 很好地替代了传统的 message broker(消息代理)。Message Brokers 可用于各种场合(如 将数据生成器与数据处理解耦,缓冲未处理的消息等)。与大多数消息系统相比,Kafka 拥有 更好的吞吐量、内置分区、具有复制和容错的功能,这使它成为一个非常理想的大型消息处 理应用。根据我们的经验,通常消息传递使用较低的吞吐量,但可能要求较低的端到端延迟,...原创 2018-12-10 19:29:01 · 751 阅读 · 1 评论 -
【图文详细 】Kafka消息队列——Kafka的优点
2、Kafka的优点1、解耦:在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息系统在处理过程中间 插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。这允许你独立 的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2、冗余:有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数 据进行持久化直到它们已经被完全处理,通过这一...原创 2018-12-10 19:20:17 · 672 阅读 · 0 评论 -
【图文详细 】Kafka消息队列——Kafka是什么
1.1、Kafka的概述在流式计算中,Kafka一般用于数据的缓存,Storm通过消费Kafka的数据进行计算。经典架构:Flume + Kafka + Storm/SparkStreaming + Redis Apache Kafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统,由Scala/Java编写,并于 2011 年初开源。2012 年 10 月从 Apache...原创 2018-12-10 19:06:07 · 784 阅读 · 0 评论 -
【图文详细 】Kafka消息队列——Kafka 的各种 Shell 操作
1、启动集群每个节点的进程: 2、创建 topic 3、查看已经创建的所有 kafka topic 4、查看某个指定的 kafka topic 的详细信息: 4、开启生产者模拟生成数据: 5、开启消费者模拟消费数据: 6、查看某 topic 某个分区的偏移量最大值和最小值 7、增加 topic 分区数 8、删除 Topic ...原创 2018-12-13 15:53:48 · 500 阅读 · 1 评论 -
zookeeper和Kafka的关系
kafka与zookeeper: 一个典型的Kafka集群中包含若干Produce,若干broker(一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer...原创 2019-02-23 17:25:04 · 4912 阅读 · 1 评论