![](https://img-blog.csdnimg.cn/20200821202912161.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 77
kafka 是一个分布式的基于发布、订阅模式消息队列(Message Queue),主要用于大数据实时处理领域。
TANCHISE
这个作者很懒,什么都没留下…
展开
-
Flume与Kafka的配合使用(数据分离-按需求消费)
文章目录六、Flume 对接 Kafka2、数据分离六、Flume 对接 Kafka2、数据分离0)需求: 将flume采集的数据按照不同的类型输入到不同的topic中 将日志数据中带有flume的,输入到Kafka的flume主题中, 将日志数据中带有hello的,输入到Kafka的hello主题中, 其他的数据输入到Kafka的other主题中1) 编写Flume的Interceptor/** * 需求: 将flume采集的数据按原创 2021-01-21 18:57:28 · 625 阅读 · 0 评论 -
Flume与Kafka的配合使用(简单实现)
文章目录六、Flume 对接 Kafka1、简单实现六、Flume 对接 Kafka1、简单实现1)配置flume[xiaoxq@hadoop105 jobs]$ pwd/opt/module/flume-1.9.0/jobs[xiaoxq@hadoop105 jobs]$ vim flume-kafka.conf添加如下内容# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.t原创 2020-09-10 08:35:29 · 749 阅读 · 0 评论 -
Kafaka 网页端监控设置(Kafka Eagle)
文章目录五、Kafaka 监控1、Kafka Eagle五、Kafaka 监控1、Kafka Eagle1)修改kafka启动命令修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-se原创 2020-09-10 08:35:06 · 890 阅读 · 0 评论 -
Kafka API的运用(Consumer API)
文章目录四、Kafka API2、 Consumer API2.1 自动提交offset2.2 重置Offset2.3手动提交 offset四、Kafka API2、 Consumer APIConsumer 消费数据时的可靠性是很容易保证的,因为数据在 Kafka 中是持久化的,故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障,consumer 恢复后,需要从故障前的位置的继续消费,所以 consumer 需要实时记录自己消费到了哪个offset,以便故障恢复原创 2020-09-07 18:55:20 · 137 阅读 · 0 评论 -
Kafka API的运用(Producer API)
文章目录四、Kafka API1、Producer API1.1 消息发送流程1.2 异步发送 API1.3 分区器1.4 同步发送 API四、Kafka API1、Producer API1.1 消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 Re原创 2020-09-07 18:54:58 · 384 阅读 · 0 评论 -
Kafka架构(kafka高效读写数据、zookeeper在kafka中的作用、kafka事务)
文章目录Kafka架构4、 Kafka 高效读写数据4.1 顺序写磁盘4.2 应用Pagecache(页缓存)4.3 零复制技术5 、Zookeeper 在 Kafka 中的作用6、Kafka 事务6.1 Producer 事务6.2 Consumer 事务(精准一次性消费)Kafka架构4、 Kafka 高效读写数据高效缘由:分区、地址索引机制4.1 顺序写磁盘Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样原创 2020-09-03 10:17:54 · 187 阅读 · 0 评论 -
Kafka架构(kafka消费者的消费方式、分区分配策略、offset的维护、消费组案例分析、故障处理细节)
文章目录3、 Kafka消费者3.1 消费方式3.2 分区分配策略3.3 offset 的维护3.4 消费者组案例3.5 故障处理细节3、 Kafka消费者3.1 消费方式consumer 采用 pull(拉)模式从 broker 中读取数据。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而 pull模式则可以根据 consumer原创 2020-09-03 10:17:26 · 566 阅读 · 0 评论 -
Kafka架构(kafka生产者的分区策略、数据可靠性保证、Exactly Once 语义)
文章目录2、Kafka 生产者2.1 分区策略2.2 数据可靠性保证2.3 Exactly Once 语义2、Kafka 生产者2.1 分区策略1)分区的原因(1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic 又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;(2)可以提高并发,因为可以以 Partition 为单位读写了。2)分区的原则我们需要将producer发送的数据封装成一个ProducerRecor原创 2020-09-01 20:47:04 · 275 阅读 · 0 评论 -
Kafka架构(Kafka工作流程及文件存储机制)
文章目录三、Kafka 架构1、Kafka 工作流程及文件存储机制三、Kafka 架构1、Kafka 工作流程及文件存储机制Kafka 中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个log文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。原创 2020-09-01 20:45:29 · 196 阅读 · 0 评论 -
Kafka安装部署及常见命令行操作
文章目录二、 Kafka 快速入门1、安装1.1 Kafka 下载1.2 集群规划1.3 集群部署2 、Kafka 命令行操作二、 Kafka 快速入门1、安装1.1 Kafka 下载http://kafka.apache.org/downloads.html1.2 集群规划hadoop105hadoop106hadoop106zkzkzkkafkakafkakafka1.3 集群部署1)解压安装包[xiaoxq@hadoop105 softwa原创 2020-08-26 21:25:53 · 227 阅读 · 0 评论 -
Kafka概述(定义、性质、基础架构)
文章目录一、kafka 概述1、定义2、消息队列3、Kafka 基础架构一、kafka 概述1、定义kafka 是一个分布式的基于发布、订阅模式的消息队列(Message Queue),主要用于大数据实时处理领域。2、消息队列2.1 传统消息队列的应用场景场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种 1,串行的方式 2,并行的方式串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成之后才返回给客户端。这样会让客户等待比较久的时间,影响客原创 2020-08-26 21:25:04 · 336 阅读 · 0 评论