【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink(3)

最新推荐文章于 2024-05-23 10:57:27 发布
最新推荐文章于 2024-05-23 10:57:27 发布
阅读量584 收藏 30
点赞数 22
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jarckv/article/details/138880558
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

KafkaSink的源码相对复杂，涉及到与Kafka的交互、并行处理、容错等方面的实现。

总的来说，KafkaSink通过整合Flink和Kafka的功能，提供了一种高效、可靠的方式将流式数据写入Kafka主题，适用于各种实时数据处理场景。

04 KafkaSink参数配置

需要根据具体的安全需求和环境配置 Kafka 的安全性参数。建议查阅最新版本的 Kafka 文档以获取详细的安全配置指南：https://kafka.apache.org/documentation/#producerconfigs

在 Apache Flink 中，ProducerConfig 是用于配置 Kafka 生产者的类，它是 Kafka 客户端库中的一部分。下面是一些常见的配置选项及其解释：

bootstrap.servers

集群的地址列表，用于初始化连接。生产者会从这些服务器中选择一个 broker 进行连接。

public static final String BOOTSTRAP_SERVERS_CONFIG = "bootstrap.servers";

metadata.max.age.ms

元数据的最大缓存时间。在此时间内，生产者将重复使用已经获取的元数据，而不会向服务器发送新的元数据请求

public static final String METADATA_MAX_AGE_CONFIG = "metadata.max.age.ms";

batch.size

控制批量发送到 Kafka 的消息大小。当消息积累到一定大小时，生产者会将它们一起发送到 Kafka 以提高效率

public static final String BATCH_SIZE_CONFIG = "batch.size";

acks

消息确认机制，控制生产者收到确认的方式。可以是“all”（所有副本都确认），“1”（至少一个副本确认）或“0”（不需要确认）

public static final String ACKS_CONFIG = "acks";

linger.ms

生产者在发送批量消息前等待的时间，以使更多的消息聚合成一个批次。默认是0，表示立即发送

public static final String LINGER_MS_CONFIG = "linger.ms";

request.timeout.ms

发送请求到 Kafka 服务器的超时时间

public static final String REQUEST_TIMEOUT_MS_CONFIG = "request.timeout.ms";

delivery.timeout.ms

这个参数在 Kafka 生产者的配置中是存在的，它表示生产者在发送消息后等待生产者确认的最大时间。如果在这段时间内没有收到确认，生产者将重试发送消息或者抛出异常，具体取决于 retries 参数的配置

public static final String DELIVERY_TIMEOUT_MS_CONFIG = "delivery.timeout.ms";

client.id

用于区分不同生产者实例的客户端 ID

public static final String CLIENT_ID_CONFIG = "client.id";

send.buffer.bytes

Kafka 消费者用于网络 socket 发送数据的缓冲区大小

public static final String SEND_BUFFER_CONFIG = "send.buffer.bytes";

receive.buffer.bytes

Kafka 消费者用于网络 socket 接收数据的缓冲区大小

public static final String RECEIVE_BUFFER_CONFIG = "receive.buffer.bytes";

max.request.size

单个请求发送的最大字节数

public static final String MAX_REQUEST_SIZE_CONFIG = "max.request.size";

reconnect.backoff.ms

用于控制在与 Kafka 服务器连接断开后重新连接的时间间隔。具体来说，它定义了在发起重新连接尝试之间等待的时间量，以毫秒为单位。如果连接失败，生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器

public static final String RECONNECT_BACKOFF_MS_CONFIG = "reconnect.backoff.ms";

reconnect.backoff.max.ms

用于控制重新连接的最大退避时间。具体来说，它定义了在发起重新连接尝试之间等待的最长时间量，以毫秒为单位。如果连接失败，生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器

public static final String RECONNECT_BACKOFF_MAX_MS_CONFIG = "reconnect.backoff.max.ms";

max.block.ms

当 Kafka 队列已满时，生产者将阻塞的最长时间（毫秒），超时后会抛出异常

public static final String MAX_BLOCK_MS_CONFIG = "max.block.ms";

buffer.memory

生产者用于缓冲等待发送到服务器的消息的内存大小。默认是33554432字节（32MB）

public static final String BUFFER_MEMORY_CONFIG = "buffer.memory";

retries

生产者发送失败后的重试次数。默认是0，表示不重试

public static final String RETRIES_CONFIG = "retries";

key.serializer

用于序列化消息键的序列化器类。通常是指实现了Serializer接口的类的全限定名

public static final String KEY_SERIALIZER_CLASS_CONFIG = "key.serializer";

value.serializer

用于序列化消息值的序列化器类

public static final String VALUE_SERIALIZER_CLASS_CONFIG = "value.serializer";

connections.max.idle.ms

客户端与服务器保持空闲连接的最长时间（毫秒）。默认值为 540000（即 9 分钟）。例如："900000" 表示客户端与服务器保持空闲连接的最长时间为 15 分钟

public static final String CONNECTIONS_MAX_IDLE_MS_CONFIG = "connections.max.idle.ms";

partitioner.class

用于指定消息将被发送到哪个分区的算法，即分区器的实现类。Kafka 中的主题（topic）通常被划分为多个分区，每个分区都包含有序的消息序列。分区器决定了生产者发送的消息应该被分配到哪个分区中。

通过配置 partitioner.class，用户可以自定义分区算法，以满足特定的业务需求。Kafka 提供了默认的分区器，也允许用户根据自己的逻辑实现自定义的分区器。

例如，以下是配置 partitioner.class 的示例：

partitioner.class=com.example.CustomPartitioner

在这个示例中，com.example.CustomPartitioner 是用户自定义的分区器类的全限定名。该类必须实现 Kafka 提供的 org.apache.kafka.clients.producer.Partitioner 接口，该接口定义了确定消息应该被发送到哪个分区的方法。

自定义分区器可以根据消息的内容、键（如果有）、以及其他上下文信息，灵活地决定消息应该被发送到哪个分区。这样的自定义分区策略可以帮助实现一些特定的业务逻辑，例如确保相关的消息被发送到相同的分区，以提高消费的局部性。

在没有显式配置 partitioner.class 的情况下，Kafka 使用默认的分区器，该分区器根据消息的键（如果有）或者采用轮询的方式将消息平均分配到所有分区。

public static final String PARTITIONER_CLASS_CONFIG = "partitioner.class";

interceptor.classes

用于指定一组拦截器类。拦截器类是实现 Kafka 接口 org.apache.kafka.clients.producer.ProducerInterceptor 或者 org.apache.kafka.clients.consumer.ConsumerInterceptor 的类，用于在生产者或消费者发送或接收消息之前或之后对消息进行处理。

拦截器允许用户对消息进行自定义的预处理或后处理。这些操作可以包括但不限于：

  1. 对消息进行加工、转换、过滤。
  2. 在消息发送或接收之前或之后记录日志。
  3. 对消息的时间戳或键进行修改。

通过配置 interceptor.classes 参数，可以指定一组拦截器类，并且它们将按顺序应用于每个消息。这样的拦截器链使得在消息处理过程中可以执行多个不同的操作。

例如，以下是配置 interceptor.classes 的示例：

interceptor.classes=com.example.MyProducerInterceptor, com.example.MyConsumerInterceptor

在这个示例中，com.example.MyProducerInterceptor 和 com.example.MyConsumerInterceptor 是用户定义的拦截器类的全限定名。这两个类必须分别实现 Kafka 提供的 org.apache.kafka.clients.producer.ProducerInterceptor 和 org.apache.kafka.clients.consumer.ConsumerInterceptor 接口。

需要注意的是，拦截器类的顺序很重要。拦截器将按照它们在 interceptor.classes 参数中声明的顺序依次应用于每个消息。如果需要确保拦截器按照特定的顺序应用，可以通过配置参数来指定顺序。

拦截器提供了一种灵活的方式来实现特定的消息处理逻辑，同时也允许用户对消息进行监控和记录。

public static final String INTERCEPTOR_CLASSES_CONFIG = "interceptor.classes";

enable.idempotence

public static final String ENABLE_IDEMPOTENCE_CONFIG = "enable.idempotence";

transaction.timeout.ms

public static final String TRANSACTION_TIMEOUT_CONFIG = "transaction.timeout.ms";

transactional.id

用于启用生产者的幂等性。幂等性是指对于同一个生产者实例，无论消息发送多少次，最终只会产生一条副本（实际上是一个幂等序列）的性质。这可以防止由于网络错误、重试或者生产者重新启动等情况导致的重复消息。

启用生产者的幂等性可以通过设置 enable.idempotence 参数为 true 来实现。例如：

enable.idempotence=true

启用幂等性会自动设置一些与幂等性相关的配置，例如：

  • acks 配置将被设置为 “all”，确保所有的 ISR（In-Sync Replicas）都已经接收到消息。
  • max.in.flight.requests.per.connection 将被设置为 1，以确保在一个连接上只有一个未确认的请求。

幂等性对于确保消息传递的精确一次语义非常重要。在启用幂等性的情况下，生产者会为每条消息分配一个唯一的序列号，以便在重试发生时 Broker 能够正确地识别并去重重复的消息。

需要注意的是，启用幂等性会对性能产生一些开销，因为它引入了额外的序列号和一些额外的网络开销。在生产环境中，需要仔细评估幂等性对性能的影响，并根据实际需求权衡性能和可靠性。

public static final String TRANSACTIONAL_ID_CONFIG = "transactional.id";

security.providers

参数已经被 Kafka 移除了。在较早的 Kafka 版本中，这个参数可能被用于指定安全性相关的提供者。然而，从 Kafka 2.0 开始，Kafka 已经采用了基于 JAAS（Java Authentication and Authorization Service）的身份验证和授权机制，这个参数不再被使用。

现在，Kafka 的安全性配置主要包括以下几个方面：

  1. 身份验证机制（Authentication Mechanisms）：Kafka 支持多种身份验证机制，如SSL/TLS、SASL（Simple Authentication and Security Layer）、OAuth等。通过配置 security.protocol 参数选择所需的身份验证机制。
  2. 授权机制（Authorization Mechanisms）：Kafka 使用 ACL（Access Control Lists）来控制对主题和分区的访问权限。可以通过配置 authorizer.class.name 参数选择 ACL 的实现类。
  3. 加密通信（Encryption）：可以通过配置 SSL/TLS 来对 Kafka 通信进行加密，以保护数据在传输过程中的安全性。
  4. 客户端配置（Client Configuration）：客户端需要根据服务端的安全配置进行相应的配置，如设置 SSL/TLS 的信任证书、SASL 的认证信息等。

需要根据具体的安全需求和环境配置 Kafka 的安全性参数。建议查阅最新版本的 Kafka 文档以获取详细的安全配置指南。

public static final String SECURITY_PROVIDERS_CONFIG = "security.providers";

retry.backoff.ms

用于定义在发生可重试的发送错误后，生产者在进行重试之前等待的时间间隔，以毫秒为单位。

当生产者发送消息到 Kafka 时，可能会遇到一些可重试的错误，例如网络问题、Kafka 服务器繁忙等。retry.backoff.ms 允许在出现这些可重试错误后等待一段时间，然后再次尝试发送消息，以避免频繁的重试。这样的设计有助于在短时间内解决暂时性的问题，而不至于对 Kafka 服务器造成额外的负担。

具体而言，如果发生了可重试的错误，生产者将等待 retry.backoff.ms 指定的时间间隔，然后进行下一次重试。如果重试依然失败，生产者可能会继续进行更多的重试，每次之间间隔逐渐增加，以避免过度压力和频繁的连接尝试。

默认情况下，retry.backoff.ms 的值通常是 100 毫秒，但可以根据实际需求和环境进行调整

public static final String RETRY_BACKOFF_MS_CONFIG = "retry.backoff.ms";

compression.type

控制发送到 Kafka 的消息是否压缩。可以是“none”、“gzip”、“snappy”或“lz4”

public static final String COMPRESSION_TYPE_CONFIG = "compression.type";

metrics.sample.window.ms

用于配置 Kafka Broker 的参数，用于定义度量指标（metrics）的采样窗口的时间跨度，以毫秒为单位。

具体来说，这个参数指定了度量指标的采样窗口的持续时间。在这个时间段内，Kafka Broker 会收集和计算各种指标，比如吞吐量、延迟、请求处理时间等。然后，这些度量指标可以被监控工具或者外部系统使用，以便实时地监控 Kafka Broker 的运行状态和性能指标。

通过调整 metrics.sample.window.ms 这个参数，可以改变度量指标采样的时间窗口长度，以适应不同的监控和性能分析需求。较短的采样窗口可以提供更加实时的性能指标，但也会增加系统资源的开销；而较长的采样窗口则可以减少资源开销，但会牺牲一些实时性。

默认情况下，metrics.sample.window.ms 的值通常是 30000 毫秒（30秒），但根据具体的 Kafka 集群配置和监控需求，可以进行调整。

public static final String METRICS_SAMPLE_WINDOW_MS_CONFIG = "metrics.sample.window.ms";

metrics.num.samples

用于配置 Kafka Broker 的参数，用于指定在每个度量指标采样窗口中收集的样本数量。

具体来说，度量指标（metrics）是用于监视 Kafka Broker 运行状态和性能的关键数据，比如吞吐量、延迟、请求处理时间等。而 metrics.num.samples 参数则控制了在每个采样窗口内收集多少个样本。这些样本可以用于计算度量指标的平均值、最大值、最小值等统计信息。

通过调整 metrics.num.samples 这个参数，可以平衡度量指标的准确性和资源消耗之间的权衡。较大的样本数量可以提供更加准确的度量指标统计信息，但会增加系统资源的开销；而较小的样本数量则可以减少资源消耗，但可能会牺牲一些准确性。

默认情况下，metrics.num.samples 的值通常是 2，但根据具体的 Kafka 集群配置和监控需求，可以进行调整。

public static final String METRICS_NUM_SAMPLES_CONFIG = "metrics.num.samples";

metrics.recording.level

用于配置度量指标（metrics）的记录级别。这个参数决定了哪些度量指标会被记录和汇报。

具体来说，metrics.recording.level 可以设置为以下几个级别之一：

  • INFO：记录常规的度量指标，如吞吐量、延迟等。
  • DEBUG：记录更详细的度量指标信息，可能包括更多的细节和较低级别的度量指标。
  • TRACE：记录非常详细的度量指标信息，包括所有细节和最低级别的度量指标。

通过调整 metrics.recording.level 这个参数，可以灵活地控制记录的度量指标的级别，以满足不同场景下的监控和分析需求。例如，在生产环境中，通常会将记录级别设置为 INFO 或者 DEBUG，以便实时监控 Kafka 集群的运行状态和性能指标；而在调试或者故障排查时，可以将记录级别设置为 TRACE，以获取更详细的信息。

默认情况下，metrics.recording.level 的值通常是 INFO，但可以根据具体的需求和环境进行调整。

public static final String METRICS_RECORDING_LEVEL_CONFIG = "metrics.recording.level";

metric.reporters

用于指定要使用的度量指标（metrics）报告器。度量指标报告器负责将 Kafka Broker 收集到的度量指标信息发送到指定的位置，以供监控和分析使用。

具体来说，metric.reporters 参数接受一个逗号分隔的报告器类名列表，这些报告器类名必须实现 Kafka 的 org.apache.kafka.common.metrics.MetricsReporter 接口。通过配置这个参数，可以启用不同的度量指标报告器，并将度量指标信息发送到不同的目的地，比如日志、JMX、Graphite、InfluxDB 等。

例如，可以使用以下配置启用 JMX 报告器和日志报告器：

metric.reporters=jmx, kafka.metrics.KafkaMetricsReporter

这样配置后，Kafka Broker 将同时使用 JMX 报告器和日志报告器，将度量指标信息发送到 JMX 和日志中。

默认情况下，metric.reporters 参数为空，表示不使用任何度量指标报告器。在实际部署中，根据监控和分析需求，可以配置不同的度量指标报告器来收集和报告度量指标信息。

public static final String METRIC_REPORTER_CLASSES_CONFIG = "metric.reporters";

max.in.flight.requests.per.connection

用于控制在任何给定时间内允许向单个 Broker 发送的未确认请求的最大数量。

在 Kafka 中，生产者发送消息到 Broker 时，可以选择等待服务器确认（acknowledgement）消息发送成功后再发送下一条消息，或者继续发送下一条消息而不等待前一条消息的确认。当生产者选择继续发送下一条消息时，这些未确认的消息就会处于 “in-flight” 状态。

max.in.flight.requests.per.connection 参数就是用来限制在这种情况下的未确认请求的数量。如果未确认请求的数量达到了这个限制，生产者将会阻塞，直到有一些请求被确认，才会继续发送新的请求。

通过调整 max.in.flight.requests.per.connection 参数，可以平衡生产者的吞吐量和消息传递的可靠性之间的权衡。较大的值可以提高生产者的吞吐量，因为它允许更多的消息在未确认状态下发送，而较小的值可以提高消息传递的可靠性，因为它限制了未确认请求的数量，从而减少了消息丢失的风险。

默认情况下，max.in.flight.requests.per.connection 的值是 5。根据应用程序的要求和实际情况，可以适当地调整这个参数的值。

public static final String MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION = "max.in.flight.requests.per.connection";

05 KafkaSink 应用依赖

<!-- Flink kafka 连接器依赖 start -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.12</artifactId>
    <version>1.14.4</version>
</dependency>
<!-- Flink kafka 连接器依赖 end -->

06 KafkaSink 快速入门

6.1 包结构

在这里插入图片描述

6.2 项目配置

log4j2.properties

rootLogger.level=INFO
rootLogger.appenderRef.console.ref=ConsoleAppender
appender.console.name=ConsoleAppender
appender.console.type=CONSOLE
appender.console.layout.type=PatternLayout
appender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
log.file=D:\\tmproot
Logger.level=INFO

6.3 pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.aurora</groupId>
    <artifactId>aurora_kafka_connector</artifactId>
    <version>1.0-SNAPSHOT</version>



![img](https://img-blog.csdnimg.cn/img_convert/7da173c4376e2acd2af4c0b04467b76d.png)
![img](https://img-blog.csdnimg.cn/img_convert/94409f799a5a981999225fa555ed53dd.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

gger.level=INFO

6.3 pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.aurora</groupId>
    <artifactId>aurora_kafka_connector</artifactId>
    <version>1.0-SNAPSHOT</version>



[外链图片转存中...(img-oEeDAVGc-1715712086860)]
[外链图片转存中...(img-ym2HACJk-1715712086860)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
jarckv
关注
  • 22
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
6.2、Flink数据写入到Kafka
向热爱自己一样，热爱这个世界。
09-13 2257
Flink数据写入到Kafka
Flink—kafkaSink
popping_w的博客
08-27 2466
Flink—kafkaSink 1.开发流程 特别说明： Flink内置了一些Sink, 除此之外的Sink需要用户自定义! 2.环境介绍 hadoop+zookeeper+kafka 添加Kafka Connector依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId>
Flink入门，flink接入kafka数据源，消费数据并处理数据
最新发布
荒野拖拉机
05-23 1347
构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listeners注释去掉，并修改值为你虚拟机的ip，如下图。最后运行新的消费者，消费处理后的数据，只需修改topic。然后运行代码，在生产者生产一条数据进行查看。启动生产者服务，bin目录下。安装过程可自行搜索。
Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)
Hushhhh的博客
01-09 9257
Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)
Flink之Kafka Sink
AnameJL的博客
07-25 1692
Kafka Sink
Flink基础系列21-Sink之Kafka
只是甲的博客
10-27 6534
文章目录一.Sink概述二.Sink之Kafka2.1 将文本文件数据写入Kafka2.2 Java代码准备2.3 开启生产者2.4 查看Kafka输出参考: 备注： Flink 1.9.0 一.Sink概述 Flink没有类似于spark中foreach方法，让用户进行迭代的操作。虽有对外的输出操作都要利用Sink完成。最后通过类似如下方式完成整个任务最终输出操作。 官方提供了一部分的框架的sink。除此以外，需要用户自定义实现sink。 二.Sink之Kafka 2.1 将文本文件数据写入Kafka
【极数系列】Flink集成KafkaSink & 实时输出数据（11）
weixin_40736233的博客
02-06 1677
【极数系列】Flink集成KafkaSink（11）旨在帮助读者快速使用Flink集成KafkaSink，直接输出数据到kafka
Flink1.14.4版本集成ElasticsearchSink组件初阶+进阶实战源码，下载解压可用，有疑问可在评论区@我
02-17
天衍系列 04】深入理解Flink的ElasticsearchSink组件：实时数据流如何无缝地流向Elasticsearch gitee代码仓库地址： https://gitee.com/shawsongyue/aurora_flink/tree/develop/aurora_elasticsearch_connector
基于腾讯云智优保医疗数据智能结构化的保险AI应用.pdf
09-12
腾讯云智优保医疗数据智能结构化平台可以通过医疗影像结构化识别、医疗图谱、核保规则引擎，基于多样化人工智能技术融合方案，对医疗图像数据进行准确、高效的结构化识别。该平台可以帮助核保师有效地解决了信息录入...
东方美少女广东赛区活动管理方案.pptx
10-12
4. 组织架构：大赛由中国模特俱乐部管理有限公司、《Orient Model 东方模特》杂志、香港华谊兄弟影视公司、星光国际传媒等多家单位主办，广州市天衍广告有限公司承办，众多知名企业、机构和媒体参与协办与支持。...
数字科技前沿应用趋势报告
03-25
为此，腾讯研究院发起了这样一个研究项目，先后访谈业界权威专家， 以及腾讯公司 AI Lab、多媒体实验室、地图平台部、反病毒实验室、科恩实验室、 量子实验室、Robotics X 实验室、腾讯云区块链、天衍实验室、未来...
《问道》9月2日更新内容 新门派万妖岭横空出世.docx
09-26
更新还开放了转换至“万妖岭”门派的3折优惠活动，鼓励玩家尝试新的门派。活动期间，无论角色转换至万妖岭还是转回原门派，都将享受到折扣，且不限制转换次数。同时，转换至万妖岭的玩家还会得到一把限时的门派武器...
Flink的sink实战之二：kafka
热门推荐
程序员欣宸的博客
04-18 1万+
实践如何将flink数据集sink到kafka
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 & 高效协同
weixin_40736233的博客
02-19 2242
旨在帮助读者理解Flink的KafkaSink组件的相关知识体系，以及了解是如何实现流式数据的可靠传输 & 高效协同
【Flink】事务型Sink连接器、kafka连接器、写入到redis、mysql
weixin_43923463的博客
12-05 1361
事务写入 sink 连接器需要和 Flink 的检查点机制集成，因为只有在检查点成功完成以后，事务写入 sink 连接器才会向外部系统 commit 数据。为了简化事务性 sink 的实现，Flink 提供了两个模版用来实现自定义 sink 运算符。这两个模版都实现了 CheckpointListener 接口。CheckpointListener 接口将会从作业管理器接收到检查点完成的通知。GenericWriteAheadSink 模版会收集检查点之前的所有的数据，并将数据存储到 sink任务的运算符状
Flink kafka source & sink 源码解析
u011250186的博客
04-13 1285
摘要：本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要内容分为以下两部分： 1.Flink-kafka-source 源码解析 流程概述 非 checkpoint 模式 offset 的提交 checkpoint 模式下 offset 的提交 指定 offset 消费 2.Flink-kafka-sink 源码解析 初始化 Task运行 小结 1.Flink-kafka-source 源...
Flume学习之路kafka sink参数介绍
weixin_36815898的博客
03-02 2577
参数名称默认值描述type-必须设置为org.apache.flume.sink.kafka.KafkaSink-Kafka-Sink将连接到的代理列表，以获取主题分区列表。这可以是部分代理列表，但是对于HA，我们建议至少两个。格式是用逗号分隔的主机名：端口列表kafka中将发布消息的主题。如果配置了此参数，则消息将发布到该主题。如果事件标题包含“主题”字段，则事件将发布到该主题，并覆盖此处配置的主题。100一批中要处理多少条消息。较大的批次可提高吞吐量，同时增加延迟。1。
第四章 FlinkAPI基础练习之Kafka Source & Kafka Sink
qq_27924553的博客
11-17 1807
Flink集成Kafka
Sink-kafkaSink的使用
weixin_39868387的博客
07-03 1659
上篇：Sink-writeToSocke的使用 若想要实现实现Exactly Once，kafka必须要0.11以上版本（可以支持事务） 直接代码 package cn._51doit.flink.day01; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apac
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink(1)
2401_84185471的博客
05-03 631
是 Apache Flink 中用于将数据流转换为 Kafka 记录（record）的序列化模式（Serialization Schema）。它允许将 Flink 数据流中的元素转换为 Kafka 生产者记录，并定义了如何序列化元素的逻辑。在 Flink 中，当你想要将数据发送到 Kafka 主题，需要一个序列化模式来将 Flink 数据流中的元素序列化为 Kafka 记录。而就是为此目的而设计的。// 序列化模式//设置对哪个主题进行序列化//设置数据值序列化方式//设置数据key序列化方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值