Kafka
Kafka
嘻哈吼嘿呵
这个作者很懒,什么都没留下…
展开
-
四、Kafka 监控、Flume对接
一、Kafka 监控Kafka Eagle配置1、修改 kafka 启动命令修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi改为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then...原创 2019-10-07 01:49:43 · 139 阅读 · 0 评论 -
三、Kafka 读写数据及事务
一、高效读写数据1、顺序写磁盘Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。 官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。2、零复制技术(待研究)二、Zookeeper 在 Kafka 中的作用Ka...原创 2019-10-07 01:35:07 · 311 阅读 · 0 评论 -
二、Kafka 工作流程及生产者、消费者
目录一、Kafka 工作流程及文件存储机制1、工作流程2、文件存储机制二、Kafka 生产者1、分区策略2、数据可靠性保证(1)副本数据同步策略2) ISR3) ack 应答机制4)故障处理细节5)、Exactly Once 语义三、Kafka 消费者1、消费方式2、分区分配策略(待研究)3、offset 的维护4、消费者组案例一...原创 2019-10-07 00:41:22 · 513 阅读 · 0 评论 -
一、Kafka 基本介绍及安装部署
一、Kafka 概述Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue) , 主要应用于大数据实时处理领域。1、消息队列(1)传统消息队列的应用场景(2)使用消息队列的好处1) 解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2) 可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的...原创 2019-10-06 23:40:19 · 178 阅读 · 0 评论 -
Kafka 基本原理
一、Kafka架构它的架构包括以下组件:话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名。生产者(Producer):是能够发布消息到话题的任何对象。服务代理(Broker):已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群。消费者(Consumer):可以订阅一个或多个话题,并...原创 2019-08-04 12:57:00 · 154 阅读 · 0 评论 -
Kafka 集群安装
一、解压并安装tar -zxvf /home/sxp/soft_packages/kafka_2.11-2.1.0.tgz -C /usr/softwares/二、修改配置文件 kafka_2.11-2.1.0/config/server.propertiesbroker.id=2 每个节点不同log.retention.hours=168message.max.byte...原创 2019-08-03 21:31:21 · 85 阅读 · 0 评论