kafka
文章平均质量分 92
刘先生我在呀
加油加油加油
展开
-
Kafka与Flume和HDFS整合应用之日志采集系统项目
文章目录前言项目需求一、Flume采集日志写入Kafka1.Source配置2.Sinks配置3.Channel配置二、Flume采集Kafka消息写入HDFS1.KafkaSource配置2.KafkaSinks配置3.KafkaChannel配置三、启动Flume NG和Kafka验证1.启动Flume采集日志写入Kafka代理2.启动Flume采集Kafka消息写入HDFS代理3.效果展示总结前言Flume 是一个连接各种组件和系统的桥梁,在$FLUME_HOME/lib 目录下有Flume与.原创 2020-12-25 16:49:15 · 604 阅读 · 2 评论 -
Kafka详细介绍--个人总结
文章目录一、简介1.有哪些主流的消息队列?2.为什么要使用消息队列?3.Kafka特性4.消息队列的应用场景5.消息队列的分类二、环境搭建三、组件构成1.Kafka由哪些组件构成?2.topic2.1 分区partition2.2 副本replication2.3 ISR和AR是什么,ISR的伸缩又指什么?总结一、简介1.有哪些主流的消息队列?RabbitMQ:由Erlang(二郎)语言编写。RocketMQ:由java编写,阿里开发。Redis:用作消息队列时,数据量大小在10k以内速度快原创 2020-12-07 23:52:07 · 154 阅读 · 0 评论 -
有了这Kafka基本概念面试够了!
Kafka基本概念1、主题Kafka将一组消息抽象归纳为主题(Topic),也就是说,一个主题就是对消息的一个分类。生产者将消息发送到特定主题,消费者订阅主题或主题的某些分区进行消费。2、消息消息是Kafka通信的基本单位,由一个固定长度的消息头和一个可变长度的消息体构成。在老版中,每一条消息称为Message;在由Java重新实现的客户端中,每一条消息称为Record。3、分区和副本Kafka 将一组消息归纳为一个主题,而每个主题又被分成一个或多个分区(Partition)。每个分区原创 2020-11-13 14:56:07 · 157 阅读 · 0 评论 -
kafka面试题以及答案总结
分区消费模型;组消费模型;Consumer 分配算法分区消费模型更加灵活但是:(1)需要自己处理各种异常情况;(2)需要自己管理offset(以实现消息传递的其他语义);组消费模型更加简单,但是不灵活:(1)不需要自己处理异常情况,不需要自己管理offset;(2)只能实现kafka默认的最少一次消息传递语义;两种生产模型对比:1、同步生产模型:(1)低消息丢失率;(2)高消息重复率(由于网络原因,回复确认未收到);(3)高延迟;2、异步生产模型:(1)低延迟;(2)高发送性原创 2020-11-09 17:13:18 · 989 阅读 · 0 评论 -
启动Flume报错ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupe
启动Flume报错:[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@65bf32fc counterGroup:{ name:null counters:{} } } - Except原创 2020-11-06 16:54:59 · 2721 阅读 · 0 评论 -
Kafka集群与Flume整合应用实战--Flume采集日志写入Kafka
一、Flume的安装配置去Flume官网下载Flume安装包,我下载的版本为apache-flume-1.9.0-bin.tar.gz,解压。(1)修改flume-env.sh。Flume运行在JVM之上,因此安装之前要确保系统安装了JDK,编辑环境配置文件,执行命令如下:mv flume-env.sh.template ./flume-env.shvim flume-env.shexport JAVA_HOME=/opt/java/jdk1.8.0_144(2)设置系统环境变量。将flume原创 2020-11-06 16:40:03 · 716 阅读 · 0 评论 -
Kafka还能这样玩!Kafka集群分区迁移(节点下线)操作实战
分区迁移1、节点下线分区迁移首先,执行以下命令创建一个主题。kafka-topics.sh --create --zookeeper 172.20.10.3:2181,172.20.10.4:2181,172.20.10.5:2181 --replication-factor 1 --partitions 3 --topic reassign-partitionsCreated topic "reassign-partitions".该主题分区副本分布情况如下:kafka-topics.sh原创 2020-11-02 13:30:44 · 1723 阅读 · 1 评论 -
Kafka还能这样玩!Kafka集群消费者的基本操作实战
一、消费消息1、旧版高级消费者Kafka的消费者以Pull的方式获取消息,同时Kafka采用了消费组的模式,每个消费者都属于某一个消费组。在创建消费者时,若不指定消费者的groupId,则该消费者属于默认消费组。消费组是一个全局的概念,因此在设置group.id时,要确保该值在Kafka集群中唯一。同一个消费组下的各消费者在消费消息时是互斥的,也就是说,对于一条消息而言,就同一个消费组下的消费者来讲,只能被同组下的某一个消费者消费,但不同消费组的消费者能同时消费同一条消息,正是如此,我们可以通过消费组原创 2020-11-01 14:02:47 · 2623 阅读 · 0 评论 -
Kafka还能这样玩!Kafka集群生产者的基本操作实战
一、启动生产者Kafka自带了一个kafka-console-producer.sh脚本,通过执行该脚本可以在终端调用Kafka生产者向Kafka发送消息。该脚本运行时需要指定broker-list和topic两个必传参数,分别用来指定Kafka的代理地址列表以及消息被发送的目标主题。执行以下命令,启动一个向主题kafka-action发送消息的生产者,同时指定每条包含有Key:kafka-console-producer.sh --broker-list 172.20.10.3:9092,172.2原创 2020-10-30 00:55:09 · 456 阅读 · 0 评论 -
Kafka还能这样玩!Kafka集群主题的基本操作实战
一、创建主题创建一个kafka-action的主题,该主题拥有2个副本、3个分区,命令如下所示:./kafka-topics.sh --create --zookeeper 172.20.10.3:2181,172.20.10.4:2181,172.20.10.5:2181 --replication-factor 2 --partitions 3 --topic kafka-action在控制台执行结果输出如下:Created topic "kafka-action".此时会在${log.d原创 2020-10-29 00:12:13 · 464 阅读 · 0 评论 -
Kafka还能这样玩!同时启/停Kafka所有节点脚本
Kafka并没有提供同时启动集群中所有节点的执行脚本,在生产中一个Kafka集群往往会有多个节点,若逐个节点启动稍微有些麻烦,在这里自定义一个脚本用来启动或者停止集群中所有节点。启动:#!/bin/bashbrokers="hadoop3 hadoop4 hadoop5"KAFKA_HOME="/opt/kafka/kafka_2.11-1.0.0"echo "INFO:Begin to start kafka cluster..."for broker in $brokersdo原创 2020-10-28 23:34:57 · 242 阅读 · 0 评论