Kafka
Future_LL
Believe in the future.
展开
-
Window 系统安装 kafka eagle
环境变量配置分别在 path 和 KE_HOME 配置环境变量 KE_HOME=D:\kafka-eagle\kafka-eagle-web-1.3.7 Path=%KE_HOME%\bin下载 Kafka eaglehttp://download.kafka-eagle.org/ https://github.com/smartloli/kafka-eagle/releases 这两个都可以,一个是官网下载,一个是 GitHub 下载配置 Kafka eagle 的 sys转载 2020-05-29 15:31:30 · 3234 阅读 · 1 评论 -
Window 系统安装 KafkaOffsetMonitor
下载https://github.com/quantifind/KafkaOffsetMonitor/releases 安装部署KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。然后我们在准备启动脚本命名 Kafka_monitor.sh,脚本内容如下所示: #! /bin/bashjava -cp KafkaOffsetMonitor-assembly-0.2.0.jar \com.quan.转载 2020-05-29 11:26:56 · 306 阅读 · 0 评论 -
Window 下载安装 Kafka
安装准备安装 JDK https://blog.csdn.net/qq_35246620/article/details/61208961 安装 Zookeeper https://blog.csdn.net/Future_LL/article/details/83094672安装 Kafka下载安装包 http://kafka.apache.org/downloads 解压并进入 Kafka 目录 我的路径:D:\Kafka\kafka_2.12-1.0.0原创 2020-05-24 17:17:47 · 633 阅读 · 0 评论 -
Kafka集群的搭建
Kafka需要配置安装ZooKeeper下载安装JDK8:https://blog.csdn.net/Future_LL/article/details/84667634 下载安装ZooKeeper:https://blog.csdn.net/Future_LL/article/details/83934986 【Window和Linux一样】 ZooKeeper集群搭建:https:/...原创 2019-02-26 20:09:08 · 146 阅读 · 0 评论 -
kafka与其他消息队列对比
RabbitMQ:分布式,支持多种MQ协议,重量级 ActiveMQ:与RabbitMQ类似 ZeroMQ:以库的形式提供,使用复杂,无持久化 Redis:单机、纯内存性好,持久化较差 Kafka:分布式,消息不是使用完就丢失【较长时间持久化】,吞吐量高【高性能】,轻量灵活 --------------------------------------------------------...原创 2019-02-26 18:19:20 · 3967 阅读 · 0 评论 -
Kafka Consumer
Pull vs PushProducer Producer通过主动Push的方式将消息发布到Broker Consumer Consumer通过Pull从Broker消费数据 Push 优势:延时低 劣势:可能造成Consumer来不及处理消息;网络拥塞 Pull 优势:Consumer按实际处理能力获取相应量的数据;Broker实现简单 劣势:如果处理不好...原创 2019-02-14 18:27:07 · 328 阅读 · 0 评论 -
Kafka面试题总结
请说明什么是Apache Kafka?Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。请说明什么是传统的消息传递方法?传统的消息传递方法包括两种: 排队:在队列中,一组用户可以从服务器中读取消息,每条消息都发送给其中一个人。 发布-订阅:在这个模型中,消息被广播给所有的用户。 请...原创 2019-02-28 19:11:17 · 20681 阅读 · 2 评论 -
Kafka Leader Election
Zookeeper的基本操作四种节点类型 PERSIST【永久节点,会被永久化到磁盘当中,ZooKeeper重启之后这些节点还会继续存在】 PERSIST_SEQUENTIAL【顺序节点,例如:如果有一个节点,我们将它设置成该类型,那么多个客户端可以同时重建相同的节点,但是他会根据先后顺序会在后边加一个序列号,比如第一个创建的是/a/b-00001,第二个就是/a/b-00002】...原创 2019-02-13 17:23:42 · 278 阅读 · 1 评论 -
Kafka总结
Kafka Kafka:Kafka是分布式消息系统,将消息持久化到磁盘,默认保存一周 概念: broker:broker是组成Kafka集群的节点,负责消息读写、存储,broker之间没有主从关系,一个broker可以管理多个partition producer:消息生产者,producer两种机制【自己决定写往哪个topic中的那个partition】:hash、轮询 c...原创 2019-02-28 13:39:17 · 1034 阅读 · 0 评论 -
Kafka如何使用Zookeep
Zookeeper是什么Zookeeper是一个高性能分布式应用协调服务 Naming Service【命名服务】 配置管理【分布式配置管理,或者集中式配置管理】 Leader Election 【领导选举】 服务发现 同步 Group Service Barrier【栅栏】 分布式队列【使用ZooKeeper不太好】 两阶段提交 ZooKee...原创 2019-02-12 17:52:36 · 723 阅读 · 2 评论 -
Kafka数据复制与Failover
CAP理论 Consistency【一致性】 通过某个节点的写操作结果对后面通过其它节点的读操作可见 如果更新数据后,并发访问情况下可立即感知该更新,称为强一致性 如果允许之后部分或者全部感知不到该更新,称为弱一致性 若在之后的一段时间(通常该时间不固定)后,一定可以感知该更新,称为最终一致性 造成数据不一致:并发读写,或者通过不同节点去读写的时候 Avail...原创 2019-02-11 20:57:46 · 349 阅读 · 0 评论 -
Kafka架构介绍
整体架构Kafka:分布式消息系统,将消息直接存入磁盘,默认保存一周 Broker:接收Producer发过来的数据,并且将它持久化,同时提供给Consumer去订阅 组成Kafka集群节点,之间没有主从关系,依赖ZooKeeper来协调,broker负责消息的读取和存储,一个broker可以管理多个partition Producer:发布者,自己决定向那个partition中去...原创 2019-02-10 18:27:56 · 688 阅读 · 0 评论 -
Kafka背景介绍、安装及简单使用
消息系统分类Peer-to-Peer 一般基于Pull或者Polling接收消息 发送到队列中的消息被一个而且仅仅一个接收者所接收,即使有多个接收者在同一个队列中侦听同一消息 即支持异步“即发即弃”的消息传送方式,也支持同步请求/应答传送方式 发布/订阅 发布到一个主题的消息,可被多个订阅者所接收 发布/订阅即可基于Push消费数据,也可基于Pull或者Poll...原创 2019-02-10 11:56:19 · 224 阅读 · 0 评论