初识kafka

已于 2024-08-18 17:43:07 修改
阅读量1k 收藏
点赞数
分类专栏： 中间件 文章标签： kafka big data 分布式
于 2022-04-28 19:03:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45494908/article/details/124480135
版权

Kafka 是一款分布式的基于 发布/订阅 模式的消息中间件。
相较于其他框架，kafka与大数据生态的组件更兼容（比如直接有Flink-kafka数据源DataStream、甚至Kafka Table（Flink SQL） 的API，）。(大数据组件也可以使用其他MQ)

  • 消息中间件主要作用：

    1. 异步通信
    2. 削峰
    3. 解耦：代替应用间接口调用，降低应用互相依赖

  • kafka用于数据实时采集流程举例

    1. log、csv文件 --> flume --> kafka -->ss / flink
    2. mysql / oracle --> maxwell / ogg

  • 大数据场景数据来源：

    1. 数据库：（关系型、非关系型）
    2. 文件：log文件，csv文件（方便程序之间转移的excel表格数据）

kafka 概述

kafka 官网：kafka.apache.org

Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.
(distributed event streaming platform ：分布式事件流平台 - -对标大数据流式组件 ss、flink、结构化流)

kafka 也不单纯做中间件，不甘心单单为ss \ flink 提供，也想有自己的流式平台streams，但很小众。

kafka 特点
  • HIGH THROUGHPUT : 高吞吐
  • SCALABLE ： 可扩展
  • PERMANENT STORAGE ： 持久化
  • HIGH AVAILABILITY ：高可用
kafka 版本

下载：https://archive.apache.org/dist/kafka/

kafka 模式
  • 点对点模式
    一个生产者、一个消费者。消费者主动从Message Queue中拉取消息并消费，再发送确认给Message Queue，Message Queue收到消费者确认消费后会删除消息。
  • 发布/订阅模式
    可以有多个topic，且一个topic可以被多个消费者订阅并消费。消费者消费后不会删除消息（供其他消费者消费）。多个消费者互相独立。
架构

  • topic 主题，可以有多个主题。

  • partition 是topic的物理分组，代表进入topic的文件可以被切分，一个topic至少一个paitition，在partition中有序 。
    partition 的名称是以topic-编号组成。

  • replication 是备份的副本，防止每个partition的单点故障，每个partition(leader)个可以有多个follower。

    TopicA

leader                follower
TopicA-partition1     TopicA-repartition2
TopicA-partition2     TopicA-repartition3
TopicA-partition3     TopicA-repartition1

    生产和消费消息都只针对leader，只有leader故障时才将特定follower转换为leader。（如何找到leader，如何将follower转换为leader由zookeeper完成，(2.8.0以后可选不用ZK，kafka自己处理)）

  • zookeeper 会保存两类数据：

    1. kafka集群中节点的在线情况
    leader是在ZK中以节点存在：
/brokers/ids/[0,1,2]
    1. 所有leader与对应follower
    同时对每个partition还保存了哪些是leader，哪些是follower：
/brokers/topics/first/partitions/0/state/
"leader":0,"isr":[1,2]

  • acks
    acks 有三个值，分别对应3种处理方式
    acks = 0 ： 生产者发送消息后不会等待kafka报告是否成功提交。
    acks = 1 ：当主副本提交成功数据（记录到日志）就返回生产者，不关心其他节点成功与否。
    acks = all （等价 -1）: 当主副本和所有备份副本都提交成功数据。最安全，但性能会有损耗。

部署使用

集群部署，三台机器

  1. 每台机器先配置hosts，如（hadoop001、hadoop002、hadoop003）

  2. 下载解压kafka后，进入 ./config 目录下，打开server.properties 做以下配置

    • 每一台机器是一个broker，通过指定 broker.id区分集群中每台机器。broker.id=0 （其余两台分别是1,2）

    • log.dirs=/tmp/kafka-logs (存储的是消息内容的数据，而不是kafka运行的日志。修改到非/tmp的目录)

    • log.retention.hours=168 [默认保留数据7天,按需修改]

    • zookeeper.connect=hadoop001:port,hadoop002:port,hadoop003:port/kafka (部署zookeeper集群的hostname:port) (/kafka 表示在三台ZK下创建一个/kafka目录统一存放)

    • 进kafka的数据，会经过压缩，默认保留7天

  3. 修改文件后，在 ./bin 目录找到启动命令

    kafka-server-start.sh [-daemon] 可选指定以后台进程的方法启动
kafka-server-start.sh  -daemon  [../config/server.properties]  可选带配置文件启动

    启动后会有一个进程Kafka（zookeeper的进程是QuorumpeerMain），stop时先关闭kafka再关闭zk.

乱序

由于多个partition并行提交消息，不同partition之前的顺序不能保证全局有序的。（一个partition内是有序的）

解决乱序：

  1. 牺牲吞吐量，只设置一个partition，缺失了使用kafka的意义。
  2. 消费后先做全局排序，性能开销很大。
  3. 将部分有关联的，有顺序要求的数据指定到同一个Key，保证进入同一个partition。
    那么如何关联让partition认这个key呢：
    代码层面：send消息的时候指定key, 源码算法就是取这个key做hash运算以确定partition，key为空才取其他的内容做hash
    配置层面：如果使用maxwell，可以有参数 producer_partition_by 指定如按数据库主键为key等，保证对同一个主键数据的操作是按顺序的

047 kafka-04 J哥解决乱序的过程和配置，这套配置仍在使用

kafka.acks = all
producer_partition_by =  primary_key
kafka.retries = 100
max.in.flight.requests.per.connection = 1

补充，如果仍出现数据差异，在业务低谷时，对比大数据和RDBMS，对有差异的数据多退少补。做补偿机制，

常用命令
topic
  • 创建topic
    ./kafka-topic.sh \
--create \
--zookeeper hostname:port,hostname:port,... \
--topic test_topic \
--partitions 3 \
--replication-factor 3
  1. 注意：如果kafka配置zookeeper.connect保持时指定了根目录/kafka，则这里–zookeeper 的内容也要指定到/kafka。也就是要和配置文件server.properties中zookeeper.connect保持一致。
    kafka-topics.sh \
--create \
--zookeeper localhost:2181/kafka \
--replication-factor 1 \
--partitions 1 \
--topic test

  • 查看所有topic

    ./kafka-topic.sh \
--list \
--zookeeper hostname:port,hostname:port,...

  • 描述（也可验证topic是否正常创建）

    ./kafka-topic.sh \
--describe \
--zookeeper hostname:port,hostname:port,...

    描述中的内容代表的意义
Partition: 0  代表分区的number
Leader: 0  和 Repicas:0,1,2  代表当前分区所在的机器的broker.id

  • 修改topic （尽量一次创建好，不得已才修改）

    ./kafka-topic.sh \
--alter \
--zookeeper hostname:port,hostname:port,... \
--topic test_topic \
--partitions 3   // 不能往小了调

    建议值 partitions 8，replication-factor 3 。
    为什么要调整 partitions ，kafka partitions : spark partitions == 1:1; 临时加了机器。

  • 删除topic

    ./kafka-topics.sh \
--delete \
--zookeeper ruozedata001:2181,ruozedata002:2181,ruozedata003:2181/kafka \
--topic test_topic

    删除时出现：
    Topic jj is marked for deletion. --仅仅时打了’删除’的标签
    Note: This will have no impact if delete.topic.enable is not set to true.

    delete.topic.enable=true 是受这个配置决定，（不要删除是最保险的，不打算用的话等着7天回收就行）

  • 迁移（机器、磁盘）
    反复验证后使用
    http://kafka.apache.org/documentation/#basic_ops_automigrate

    // 创建一个json文件
cat topics-to-move.json
{"topics": [{"topic": "foo1"}],
"version":1
}

    bin/kafka-reassign-partitions.sh \
--zookeeper localhost:2181 \
--topics-to-move-json-file topics-to-move.json \
--broker-list "5,6" \
--generate

bin/kafka-reassign-partitions.sh \
--zookeeper localhost:2181 \
--reassignment-json-file expand-cluster-reassignment.json \
--execute

关于topic创建：

  1. kafka topic名称规范: 英文字母小写
  2. 在建topic之前，名字想好了 真的想好了再建
  3. 不要轻易删除topic 就算生产上这个topic不用了 且 数据量较大， 也没关系 7天后数据会自己删除
  4. 不要有强迫症，不要随意修改、删除
生产/消费者
  • 创建生产者和消费者 (用于验证是否生产、消费)
    ./kafka-console-producer.sh \
--zookeeper hostname:port,hostname:port,... \
--topic test_topic 

./kafka-console-consumer.sh \
--zookeeper hostname:port,hostname:port,... \
--topic test_topic

Kafka容错机制的理解

kafka为保证高可用做了很多处理，以副本机制在多个服务端节点上对每个主题分区的日志进行复制，副本的单位是按主题下的分区，即对每个主题的每个分区都有副本。
其中一个为主副本Leader，其余多个备份副本，主副本负责响应客户端的读写请求，备份副本则从主副本拉取数据，保持和主副本的同步。
基于多副本冗余设计，kafka就有了容错的保证。即当部分节点宕机时，仍然保证系统正常对外提供服务，且外界无感知。
当主副本宕机时，kafka会在备份副本中选择一个作为主副本，对客户端提供响应。
（为尽量保证主副本和备份副本不同时宕机，主副本应该均匀的分布在各个服务器上，且互相做备份副本，即一台机器做其中一个分区的主副本，同时还做另一分区的备份副本）
当一个备份副本宕机（没有和ZK节点保持会话）、或备份进度落后太多时，主副本就会将其从同步副本集合中移除，反之，如果备份副本重新赶上主副本，它就会加入到主副本的同步集合中。
（一组主副本和其备份副本，成为一组 In Sync Replicas 即ISR）

当然这样的设计会对数据的同步和可靠性增加管理难度。
当acks = all，一条消息只有被所有副本都运用到本地的日志文件，才会认为消息被成功提交到kafka。只有已经提交的消息才能被消费者消费。
当acks = all，对于生产者所发送的一条消息已经写入到主副本中，但是此时备份副本还没来及进行数据copy时，主副本就挂掉的情况，那么此时消息提交不成功，生产者需要重新发送该消息。

acks 有三个值，分别对应3种处理方式
acks = 0 ： 生产者发送消息后不会等待kafka报告是否成功提交。
acks = 1 ：当主副本提交成功数据（记录到日志）就返回生产者，不关心其他节点成功与否。
acks = all （等价 -1）: 当主副本和所有备份副本都提交成功数据。最安全，但性能会有损耗。
生产环境会在 1 和 all 之间根据业务类型选择。
当 acks = all ,但Partition只有一个主副本Leader，没有任何Follower，则设置all与1并无区别，不能保证数据一定安全。
并且在有Follower情况下，如果副本放置不合理如一组ISR都在同一台机器导致全部宕机，也会丢失。

kafka集群部署

准备工作，zookeeper集群已提前搭建：
172.16.69.207|172.16.69.206|172.16.69.208

现搭建由4台主机组成的kafka集群：
172.16.69.205|172.16.69.207|172.16.69.206|172.16.69.208

下载 kafka_2.13-2.7.2.tgz，分别上传到集群每台主机，解压，配置环境变量等过程省略。

分别对4台主机修改配置文件 config/server.properties

broker.id=0
host.name=172.16.69.205
port=9092

listeners=PLAINTEXT://172.16.69.205:9092

log.dirs=/tmp/kafka-logs

zookeeper.connect=172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka
  • 每一台机器是一个broker，通过指定 broker.id区分集群中每台机器。broker.id=0 （其余3台分别是1,2,3）
  • host.name=172.16.69.205。本节点的ip
  • port=9092 配置文件中没有端口默认配置项，但默认端口就是9092，可改成其他端口
  • listeners=PLAINTEXT://172.16.69.208:9092. 监听本节点的host.name和port，不然生产消息时就会报错：Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}
  • log.dirs=/tmp/kafka-logs (存储的是消息内容的数据，而不是kafka运行的日志。修改到非/tmp的目录)
  • log.retention.hours=168 [默认保留数据7天，按需修改]
  • zookeeper.connect=node1:port,node2:port,node3:port/kafka (部署zookeeper集群的hostname:port) (/kafka 表示在三台ZK下创建一个/kafka目录统一存放)
  • 其他配置项按需修改

其他3台主机：

broker.id=1
host.name=172.16.69.207
port=9092
listeners=PLAINTEXT://172.16.69.207:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka

broker.id=2
host.name=172.16.69.206
port=9092
listeners=PLAINTEXT://172.16.69.206:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka

broker.id=3
host.name=172.16.69.208
port=9092
listeners=PLAINTEXT://172.16.69.208:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka

分别修改好配置文件后，4台主机依次启动

kafka-server-start.sh  -daemon  ../config/server.properties
  • 在任意一台主机下，创建topic
./kafka-topics.sh \
--create \
--zookeeper 172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka \
--topic test_topic \
--partitions 4 \
--replication-factor 1
  • 创建消费者
kafka-console-consumer.sh \
--bootstrap-server 172.16.69.207:9092,172.16.69.206:9092,172.16.69.208:9092,172.16.69.205:9092 \
--topic test_topic

创建后会保持会话，等待消息到来
Kafka常用命令之kafka-console-consumer.sh :https://blog.csdn.net/qq_29116427/article/details/80206125

  • 创建生产者

执行命令后，就会在控制台等待键入消息体。
回车表示触发“发送”操作；
退出生产者控制台，直接使用“Ctrl + c”退出。

Kafka常用命令之kafka-console-producer.sh:https://blog.csdn.net/qq_29116427/article/details/105912397

  • 创建生产者并发送消息（指定key）
kafka-console-producer.sh \
--bootstrap-server 172.16.69.207:9092,172.16.69.206:9092,172.16.69.208:9092,172.16.69.205:9092 \
--topic test_topic \
--property parse.key=true

默认消息key与消息value间使用“Tab键”进行分隔，切勿使用转义字符(\t)，如下所示：

>Lei Li    Hello Kafka!
>Meimei Han    你好 kafka!
  • 创建生产者并发送消息（默认，无key）
kafka-console-producer.sh \
--bootstrap-server 172.16.69.207:9092,172.16.69.206:9092,172.16.69.208:9092,172.16.69.205:9092 \
--topic test_topic

控制台直接输入消息值(value)即可，每行表示一条消息，如下所示。

>Hello Kafka!

Spring Boot客户端整合kafka集群

上文测试了在集群中创建topic，创建消费者，创建生产者并发送消息都测试成功。（内网环境）

添加依赖

       <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>

添加配置文件 application.yml

spring:
  kafka:
    bootstrap-servers: 外网ip:9092,外网ip:9092,外网ip:9092,外网ip:9092
    consumer:
      group-id: my-group
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    template:
      default-topic: test_topic

创建消费者

@Service
public class KafkaConsumerService {
    @KafkaListener(topics = "test_topic", groupId = "my-group")
    public void consume(String message) {
        System.out.println("Received message: " + message);
    }
}

创建生产者

@Service
public class KafkaProducer {
 
    private final KafkaTemplate<String, String> kafkaTemplate;
 
    public KafkaProducer(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }
 
    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

创建启动类

@SpringBootApplication
public class KafkaSpringBootApplication {
    public static void main(String[] args) {
        SpringApplication.run(KafkaSpringBootApplication.class, args);

        /** 
         *  Kafka 提供两个API
         * 操作topic的
         *      @Autowired
         *      private KafkaAdmin kafkaAdmin;
         *
         * 操作生产者的
         *      @Autowired
         *      private KafkaTemplate kafkaTemplate;
         *
         * 消费者直接使用注解
         *  @KafkaListener(topics = "test_topic", groupId = "my-group")
         *  public class KafkaConsumer{
         *  }
         * */
    }
}

启动便报错：
[Consumer clientId=consumer-my-group-1, groupId=my-group] Group coordinator 172.16.69.206:9092 (id: 2147483645 rack: null) is unavailable or invalid

其中这个172.16.69.206是内网ip，但java客户端现在是在外网环境，可是检查application.yml配置里，并没有使用内网ip，那么这个内网ip只可能是kafka配置里返回到java客户端的，而java客户端再使用内网ip去连接，于是连不上。

解决办法：再次回到kafka配置文件server.properties

vim ../config/server.properties

对集群中每一个主机的配置，都增加一项

advertised.listeners=PLAINTEXT://当前节点的外网ip:9092

重启kafka集群，再次启动KafkaSpringBootApplication，成功启动并消费了topic中消息。

上文部署集群时的配置文件不"完整"的，补充后配置文件：

broker.id=0
host.name=172.16.69.205
port=9092

listeners=PLAINTEXT://172.16.69.205:9092
advertised.listeners=PLAINTEXT://当前节点的外网ip:9092

log.dirs=/tmp/kafka-logs

zookeeper.connect=172.16.69.207:2181,172.16.69.206:2181,172.16.69.208:2181/kafka

查看kafka在zookeeper中的数据

启动zk客户端

[root@tidb1 data]# zkCli.sh
Connecting to localhost:2181

在zk客户端控制台，列出所有数据

[zk: localhost:2181(CONNECTED) 1] ls /
[kafka, zookeeper]

[zk: localhost:2181(CONNECTED) 3] ls /kafka
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification]

[zk: localhost:2181(CONNECTED) 4] ls /kafka/brokers 
[ids, seqid, topics]

[zk: localhost:2181(CONNECTED) 5] ls /kafka/brokers/ids
[0, 1, 2, 3]

[zk: localhost:2181(CONNECTED) 6] ls /kafka/brokers/topics 
[__consumer_offsets, multi_topic, test_topic]
昱东i
关注
专栏目录
ogg安装实时同步kafka部署
qq_40582275的博客
11-19 1591
OGG Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 Manager(控制)进程 用于管理 Extract，Data Pump，Replicat等进程 在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动 Extract(抽取)进程 可以配置Extract 进程来做 ⒈ 初始数据装载
【大数据开发运维解决方案】Ogg For Bigdata 同步Oracle数据到KAFKA（包括初始化历史数据）
赵延东的一亩三分地
09-06 15万+
OGG同步Oracle数据到KAFKA：OGG初始化进程初始化历史数据 在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章： OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算) 但是那都是做测试，没有说实际工作情况下如何将Oracle等库表的历史数据初始化到kafka的方案，网上也很少有提到这方面的内容，现在笔者给出两个方案，第一个比较笨的方案那就是写sh...
oracle11g通过ogg12同步数据至kafka
最新发布
zhangqiang0910的博客
12-06 661
返回。
【Kafka】知识点（一）Kafka基础
qq_42176514的博客
12-09 1640
前言 如果在业务中，高并发的写请求特别多，应该怎么办？ 高并发的读请求多的时候，引入MQ消息队列来解决高并发的写请求问题。 在这里我们用Kafka来解决这一个问题。 一、Kafka是什么？ 功能 分布式流式数据实时存储：分布式存储 实时消息队列存储，工作中主要使用的功能 分布式流式计算：分布式计算：KafkaStream 这个功能一般不用，工作中用流式计算：Spark | Flink 定义 分布式.
kafka-Streaming错误：在IDEA连接kafka时出现错误
weixin_43272605的博客
01-16 3848
首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群 映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候 首先连接IP:5000，5002，5004 再连接返回的host.name =kafka1,kafka2，kafka3 最后继续连接a...
liangenhao#learning-in-kafka#25-主题与分区-初识KafkaAdminClient-基本使用1
07-25
提供了常用方法：创建主题：删除主题：列出所有可用的主题：查看主题的信息：查询配置信息：修改配置信息：增加分区：管理主题【创建主题】：创建一个分区数为4、副本因子
【Kafka】初识Kafka
愿万事胜意
02-13 1304
例如：Kafka是后端常用的消息队列，将通过《深入理解Kafka核心设计与实践原理》进行学习，本文为第一章的学习笔记。
Kafka之初识Kafka
d303577562的博客
08-12 394
1.简介 Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。 Kafka之所以受到越来越多的青睐，与它“扮演”的三大角色是分不开的。 消息系统：Kafka和传统的消息系统
【kafka学习笔记】初识Kafka
weixin_44230353的博客
02-23 812
一、什么是Kafka 分布式消息发布与订阅系统（消息发布与订阅系统：可以简单理解为订阅公众号，只有你订阅了公众号，成为公众号的粉丝，才能收到公众号发送的信息。但与订阅公众号不同的是，消息订阅系统中，消费者（订阅消息的人）只能看到自己订阅的消息，而我们可以通过搜索阅读没有关注的公众号发布的信息）。Kafka是通过生产者发送数据，消费者订阅相关的topic来获取指定的数据。 二、名词解释 1、批次：一组同属于一个主题和分区的消息； 2、消息：Kafka的数据单元成为消息； 3、主题：一...
OGG_KAFKA问题及解决方法
11-20
KAFKA和OracleGoldenGate安装过程中出现的问题及其解决方法
【大数据开发运维解决方案】OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
热门推荐
赵延东的一亩三分地
03-15 18万+
GoldenGate12C For Bigdata+Kafka：通过OGG将Oracle数据以Json格式同步到Kafka提供给flink流式计算 Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。这里介绍O...
Oralce GoldenGate与Kafka集群集成
DW/BI专栏
10-22 9506
本文介绍如何配置Oracle GoldenGate 同步数据到Kafka，包括OGG源端安装配置，OGG for Big Data replication安装配置，以及如何与Kafka集群集成。 OGG& Kafka安装部署 软件准备 1.      Oracle11.2.0.2 生产环境运行的Oracle Server版本 2. Or
oracle到kafka的同步
发歌的数据架构
07-15 2万+
GoldenGate 12.2 新版支持同步如下图 ogg--------------hdfs  ogg--------------kafka ogg--------------flumn 安装kafka 安装zookeeper 配置环境变量，/etc/profile添加以下内容： [root@T2 kafkaogg]# exp
kafka的配置文件server.properties中zookeeper.connect的最后加入“/c1”
紫蝶侠的博客
04-24 5188
在kafka的配置文件server.properties中zookeeper.connect为：zookeeper.connect=kafka1:2181,kafka2:2181,kafka3:2181 在kafka的配置文件server.properties中zookeeper.connect的最后加入“/c1” : 创建主题 进入zk 的客户端 查看信息 ...
mysql 数据倾斜_【转】解决Maxwell发送Kafka消息数据倾斜问题
weixin_36284062的博客
02-07 356
最近用Maxwell解析MySQL的Binlog，发送到Kafka进行处理，测试的时候发现一个问题，就是Kafka的Offset严重倾斜，三个partition，其中一个的offset已经快200万了，另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接口实现类对分区处理的问题，一般是对key做hash之后，对分区数取模。当出现数据倾斜时，小量任务耗时...
Maxwell的数据倾斜问题(kafka中partition分配不均)
蒙奇D路飞
01-17 1791
在我的这篇博客中记录了maxwell的使用 https://editor.csdn.net/md/?articleId=103722587,先对大家说声抱歉,因为我感觉误导了很多初学者,包括我自己也被误导,那就是Maxwell将数据发送到kafka之后导致的数据倾斜问题,下面我来纠正一下 我们一般启动maxwell会执行类似的命令 ./maxwell --config ../config.prop...
Maxwell部署
微步的博客
07-03 4032
Maxwell介绍：Maxwell是MySQL到Kafka的消息中间件，消息格式采用Json。支持断点还原以及批量抽取(bootstrap)官网：http://maxwells-daemon.io/github：https://github.com/zendesk/maxwell1、配置mysql(1) 修改mysql配置vi /etc/my.cnf [mysqld] server_id=1 lo...
使用 Maxwell 监控抓取 MySQL 数据
m0_47313047的博客
05-21 1193
1.修改/etc/my.cnf 文件（修改mysql数据库配置） [atguigu@hadoop202 module]$ sudo vim /etc/my.cnf server-id= 1 log-bin=mysql-bin binlog_format=row binlog-do-db=gmall2020 注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库 2.重启 MySQL 使配置生效 sudo systemctl restart mysqld 3.到/mysql 目录下
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值