![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 77
Kafka
SuperQiu~
这个作者很懒,什么都没留下…
展开
-
Kafka Streams
Kafka StreamsKafka StreamsKafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。Kafka Streams特点1)功能强大高扩展性,弹性,容错2)轻量级无需专门的集群一个库,而不是框架3)完全集成100%的Kafka 0.10.0版本兼容易于集成到现有的应用程序4)实时性毫秒级延迟并非微批处理窗口允许乱序数据允许迟到数据为什原创 2021-12-17 16:11:28 · 213 阅读 · 0 评论 -
Kafka 对接Flume
Flume 对接 Kafka1)配置 flume(flume-kafka.conf)#definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /opt/module/data/flume.loga1.sources.r1.shell = /bin/bash -c# sinka1.sinks.k1.typ原创 2021-12-17 16:03:52 · 1005 阅读 · 0 评论 -
Kafka 监控
Kafka 监控Kafka Eagle1.修改 kafka 启动命令修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m原创 2021-12-17 15:59:10 · 147 阅读 · 0 评论 -
Kafak 自定义Interceptor
自定义 Interceptor拦截器原理Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor 的实原创 2021-12-17 15:47:52 · 80 阅读 · 0 评论 -
Kafka 消费者API
Consumer APIConsumer 消费数据时的可靠性是很容易保证的,因为数据在 Kafka 中是持久化的,故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障,consumer 恢复后,需要从故障前的位置的继续消费,所以 consumer 需要实时记录自己消费到了哪个 offset,以便故障恢复后继续消费。所以 offset 的维护是 Consumer 消费数据是必须考虑的问题。自动提交 offset1)导入依赖<dependency><原创 2021-12-17 15:47:21 · 1525 阅读 · 0 评论 -
Kafka 生产者API
Producer API消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。相关参数:batch.size:只有数据积累到 batch.size 之后,sender 才原创 2021-12-17 15:46:18 · 305 阅读 · 0 评论 -
Kafka 架构深入
Kafka 架构深入Kafka 工作流程及文件存储机制Kafka 工作流程Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到原创 2021-12-17 15:11:39 · 104 阅读 · 0 评论 -
Kafka 快速入门
Kafka 快速入门安装部署集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafkajar 包下载http://kafka.apache.org/downloads.html集群部署1)解压安装包 tar -zxvf /opt/software/kafka_2.11-0.11.0.0.tgz -C /opt/module/2)修改解压后的文件名称 mv /opt/module/kafka_2.11-0.1原创 2021-12-17 14:43:44 · 163 阅读 · 0 评论 -
Kafka 概述
Kafka 概述定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。消息队列传统消息队列的应用场景使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。3)缓冲有助于控制和优化数据流经过系统的速度,解决生产消息和消费原创 2021-12-17 14:21:35 · 74 阅读 · 0 评论