使用StreamSets Data Collector实时同步oracle数据到kafka

最新推荐文章于 2024-04-26 17:26:21 发布
最新推荐文章于 2024-04-26 17:26:21 发布
阅读量6.4k 收藏 28
点赞数 6
分类专栏： 大数据 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mayp1122/article/details/106114014
版权

使用StreamSets Data Collector实时同步oracle数据到kafka

一、前言

最近收到需求，调研如何实时同步oracle数据到kafka，这里先做一个粗略的总结，然后简单介绍下如何使用StreamSets完成需求。
先说下我所知道的几种可行方案：

  • Oracle GoldenGate (OGG)
    这个大家应该都知道吧，oracle自家产品，网上资料很多，缺点就是收费，今天先不聊。
  • flume-ng-sql-source.
    这是github上一个开源工具，需要配合flume。大致过程是在flume中配置一个自定义查询语句custom.query，包含特定格式where incrementalField > $@$，只返回incrementalField增大的数据。incrementalField是你指定需要监控的字段，该字段增大了就代表有数据增加或改变，一般是create_time、update_time或自增id等字段。同时还需配置一个查询间隔query.delay，间隔一定时间执行上面定义的查询语句。
    理论上只要把查询间隔设置得足够小，就可以基本做到近实时。但是这种主动查询获取数据的方式耗时耗资源，显然不合适实时计算，更适合离线，这里也就不深入研究了。
    可参考：
    https://github.com/mvalleavila/flume-ng-sql-source
    https://www.jb51.net/article/144031.htm
  • Kafka Connect Oracle
    这也是github上的开源工具（https://github.com/erdemcer/kafka-connect-oracle），现在还在更新。原理与今天要讲的StreamSets类似，都是通过Oracle的LogMiner获取数据库的增量和变量数据，仅支持oracle to kafka，有兴趣可以去了解下。
  • StreamSets Data Collector
    今天的主角，下面介绍。

二、StreamSets Data Collector

简介

官网：https://streamsets.com/
中文站：https://streamsets.com/（不确定是否是中文官网）
StreamSets Data Collector是StreamSets下的一个子产品，先来一段中文站上的介绍感受下它的自信：

StreamSets Data Collector（SDC）是目前最先进的可视化数据采集配置工具，非常适合做实时的数据采集，兼顾批量数据采集和不落地的数据ETL。如果您正在使用Flume、Logstash、Sqoop、Canal等上一代数据采集工具，推荐您使用SDC作为升级替换。

它有以下几个特点：

  • 方便 - 可通过可视化界面操作、拖拽构建数据管道（Pipeline），不需要写代码；在界面上还可实时查看数据流转情况。
  • 功能强大 - 构建Pipeline的数据源(Origins)、处理器(Processors)和接收端（Destinations）支持非常丰富，基本包括了各种常见的组件，如HDFS、Kafka、MySQL、Oracle等。详细可见：Origins、Processors、Destinations
  • 开源免费

安装

参考：https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Installation/Install_title.html
StreamSets Data Collector提供了多种安装方式，这里演示第四种Core Installation，安装部分核心功能并手动启动，其他功能可按需在界面上操作安装。
在这里插入图片描述

1. 下载安装包

https://archives.streamsets.com/datacollector/3.15.0/tarball/activation/streamsets-datacollector-core-3.15.0.tgz

2. 解压

	$> tar -zxvf streamsets-datacollector-core-3.15.0.tgz -C ~/   #解压到根目录
	$> cd ~     # 去到根目录
	$> mv streamsets-datacollector-3.15.0/ streamsets-datacollector/ # 重命名

3. 在安装目录外新建文件夹放置configuration, data, log, and resource文件夹（官方推荐）

	$> cd ~  
	$> mkdir -p sdc/conf
	$> mkdir -p sdc/data
	$> mkdir -p sdc/log
	$> mkdir -p sdc/resources

4. 修改配置文件

在安装目录下libexec/sdc-env.sh中指定conf、data、log和resources的路径，即上面我们新建的文件夹路径

	$> vim ~/streamsets-datacollector/libexec/sdc-env.sh

	# directory where the data collector will store pipelines and their runtime information
	export SDC_DATA=~/sdc/data
	# directory where the data collector write its logs
	export SDC_LOG=~/sdc/sdc
	# directory where the data collector will read its configuration
	export SDC_CONF=~/sdc/conf
	# directory where the data collector will read pipeline resource files from
	export SDC_RESOURCES=~/sdc/resources

5. 将安装目录下etc中的所有文件拷贝到我们新建的conf目录下

	$> cp ~/streamsets-datacollector/etc/* ~/sdc/conf/

6. 启动

	$> cd ~/streamsets-datacollector
	$> bin/streamsets dc

如果出现下面类似的内容则表示启动成功

	Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS
	Bypass activation because SDC contains only basic stage libraries.
	Logging initialized @1028ms to org.eclipse.jetty.util.log.Slf4jLog
	Running on URI : 'http://bigdata02:18630'

启动成功后就可以在浏览器访问StreamSets Data Collector的可视化界面了，地址就是上面最后一行的URI，用户名和密码都是admin
在这里插入图片描述

常见问题：
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

解决办法：
在/etc/security/limits.conf文件末尾加上下面两行（不要漏了*），后面的数字大于32768就行:

* soft nofile 102400
* hard nofile 102400

断开系统终端，重新连接，然后再次启动streamset就可以了

三、StreamSets Data Collector实战：实时同步oracle数据到kafka

这里简单演示一个StreamSets Data Collector（SDC）中构建Pipeline的案例，实时同步oracle数据到kafka，用到的Origin是Oracle CDC Client，Destination是Kafka Producer，不使用Processor。SDC还有很多Origins和Destinations，可以构建出各种你想要的Pipeline，除了各个数据组件的自身配置可能会有差异，总体流程还是一样的。

Oracle CDC Client通过Oracle LogMiner解析redo logs获取变化数据信息，适合实时同步增量和变量数据。如果还想获取Oracle中的原始数据，可以使用JDBC Query Consumer或JDBC Multitable Consumer源另外再搭建一个单独的Pipeline。

Oracle CDC Client的使用可以参考：
https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Origins/OracleCDC.html#concept_rs5_hjj_tw
https://streamsets.com/blog/replicating-oracle-to-mysql-and-json/#ora-01291-missing-logfile

知识准备

因为涉及到Oracle CDC Client中的相关配置，这里简单科普一点Oracle redo log和LogMiner的相关知识（参考官网资料）。

Redo log是Oracle的操作记录日志，记录了所有对用户数据和数据字典的改变，用以备份和恢复数据。LogMiner是Oracle开发的日志挖掘工具，可以解析redo log，分析出对数据的DML和DDL操作。为了解析redo log，LogMinder需要用到一个字典（LogMiner dictionary）。LogMiner使用该字典来解析表名和字段名。如果没有字典，解析出来的表名和字段名就只是内部的object ID，数据是二进制码。

LogMiner可以从下面三个地方获取字典，有不同的效果和性能。

  • 直接使用online catlog。速度最快，但是无法获取DDL操作，一旦表结构更改，LogMiner将无法解析出可执行SQL。适用于表结构不会被修改的场景。
  • 将字典提取到redo log文件中。可以获取DDL操作，但是会消耗数据库资源，官网资料建议在非高峰时期进行提取操作。表结构改变后需要重新操作；在操作的时候不能进行表结构变更。
  • 将字典提取到平面文件（Flag File）中。由于Oracle CDC Client配置中没有这个选项，这里就不介绍了，想了解可以查看官网资料

Oracle CDC Client中需要配置LogMiner dictionary来源，提供了online catlog和redo log两个选项。对于这两个选项，官方文档提示：

Important: When using the dictionary in redo logs, make sure to extract the latest dictionary to the redo logs each time table structures change.
Note that using the dictionary in redo logs can have significantly higher latency than using the dictionary in the online catalog. But using the online catalog does not allow for schema changes.

就是说：
a. 如果使用redo logs中的字典，那在每次表结构改变后需要重新将字典提取到redo logs中。
b. 效率上，使用redo logs中的字典会比使用online catlog中的字典有更高的延迟，但是使用online catlog中的字典无法获取表结构更改。
需要自己根据需求取舍。

Oracle准备

1. 启用LogMiner

a. 使用有DBA权限的用户登录Oracle
b. 检查数据库日志模式

	SQL> select log_mode from v$database;

如果结果是ARCHIVELOG，可以转至Task2。
如果结果是NOARCHIVELOG，执行下面SQL命令

	SQL> shutdown immediate;  # Shut down the database
	SQL> startup mount;  # Start up and mount the database
	SQL> alter database archivelog; # enable archiving
	SQL> alter database open; # open the database

2. 启用 Supplemental Logging

为了从日志里获取数据，LogMiner需要启用数据库或表的supplemental logging。Supplemental logging又分为
identification key logging和full supplemental logging。Identification key logging只包含主键和发生改变的字段数据，而full supplemental logging包含了所有字段的数据，这两种根据需求选择一种即可。

a. 启用Identification key logging或full supplemental logging
如果你的Oracle版本是12c 或 18c multitenant，最好是为表容器启用日志，而不是整个数据库。

	ALTER SESSION SET CONTAINER=<pdb>;

启用Identification key logging
可以指定一张表启用

	ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
	ALTER TABLE <schema name>.<table name> ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

也可以同时为数据库中所有表启用

	ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

启用full supplemental logging
指定一张表启用

	ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
	ALTER TABLE <schema name>.<table name> ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

为数据库中所有表启用

	ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

b. 提交修改

	ALTER SYSTEM SWITCH LOGFILE;

为了方便，我这里直接为所有表启用full supplemental logging。这里还是需要DBA用户操作。

	SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
	SQL> ALTER SYSTEM SWITCH LOGFILE;

3. 创建用户

在CDC Client源中需要配置账户信息连接Oracle，要求该用户有一定权限，所以这里新建一个用户。不同的Oracle版本有不同的方式。

Oracle 12c或18c 多租户版本

	ALTER SESSION SET CONTAINER=cdb$root;
	CREATE USER <user name> IDENTIFIED BY <password> CONTAINER=all;
	GRANT create session, alter session, set container, logmining, execute_catalog_role TO <user name> CONTAINER=all;
	GRANT select on GV_$DATABASE to <user name>;
	GRANT select on V_$LOGMNR_CONTENTS to <user name>;
	GRANT select on GV_$ARCHIVED_LOG to <user name>;
	ALTER SESSION SET CONTAINER=<pdb>;
	GRANT select on <db>.<table> TO <user name>;

Oracle 12c或18c标准版本

	CREATE USER <user name> IDENTIFIED BY <password>;
	GRANT create session, alter session, logmining, execute_catalog_role TO <user name>;
	GRANT select on GV_$DATABASE to <user name>;
	GRANT select on V_$LOGMNR_CONTENTS to <user name>;
	GRANT select on GV_$ARCHIVED_LOG to <user name>;
	GRANT select on <db>.<table> TO <user name>;

Oracle 11g

	CREATE USER <user name> IDENTIFIED BY <password>;
	GRANT create session, alter session, execute_catalog_role, select any transaction, select any table to <user name>;
	GRANT select on GV_$DATABASE to <user name>;
	GRANT select on GV_$ARCHIVED_LOG to <user name>;
	GRANT select on V_$LOGMNR_CONTENTS to <user name>;
	GRANT select on <db>.<table> TO <user name>;

我的是Oracle 11g，创建TEST_SDC用户，密码为123456。注意，这里同样需要使用具有DBA权限的用户操作。

	SQL> create user TEST_SDC identified by 123456;
	SQL> grant create session, alter session, execute_catalog_role, select any transaction, select any table to TEST_SDC;
	SQL> grant select on GV_$ARCHIVED_LOG to TEST_SDC;
	SQL> grant select on V_$LOGMNR_CONTENTS to TEST_SDC;

4. 提取LogMiner Dictionary到redo log （可选）

当你希望LogMiner使用来自redo log中的字典时，需要执行此步骤，将字典提取到redo log中，且必须在启动pipeline之前执行。如果使用online catlog中的字典，则不需要。

如果oracle版本是11g、12c或者18c，执行下面的的命令：

	EXECUTE DBMS_LOGMNR_D.BUILD(OPTIONS=> DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

如果是12c或者18c多租户版本

	ALTER SESSION SET CONTAINER=cdb$root;
	EXECUTE DBMS_LOGMNR_D.BUILD(OPTIONS=> DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

搭建Oracle到Kafka的Pipeline

1. 安装相关组件

由于我安装的StreamSets Data Collector（SDC）是基础（core）版本，不包含oracle和kafka相关的组件，所以这里需要单独安装。如果是Full Installation应该就不需了，应该会包含所有的Origins和Destinations，但这个安装包太大了，我没有尝试。

为了对接oracle和kafka，这里需要在SDC里面安装JDBC和CDH Kafka 4.1.0（里面还有个Apache Kafka，但是一直没有安装成功）。安装方法有很多种，可以使用RPM或命令行安装，也可以在SDC管理界面中的Package Manager安装，可以参考官方教程Install Additional Stage Libraries。我这里演示使用Package Manager安装。

进入Package Manager
在这里插入图片描述

安装JDBC

在这里插入图片描述
第一次安装需要注册，按要求填好信息并进入邮箱验证就可以了。
需要注意的是，安装过程可能会因为网络原因安装失败，想再次安装的时候会报错，提示已经安装了。这时候需要去到SDC安装目录下的streamsets-libs中，把刚刚安装失败组件的文件夹删掉，然后在重新安装。

安装Kafka

在这里插入图片描述

安装JDBC驱动

JDBC驱动需要通过安装外部安装包的方式安装，可以参考官方教程。

新建个文件夹，作为外部包的安装路径

	$> mkdir ~/sdc/external-libs

在~/streamsets-datacollector/libexec/sdc-env.sh中加入配置，将<external directory>替换成你刚刚新建的文件夹路径：

	export STREAMSETS_LIBRARIES_EXTRA_DIR="<external directory>-"

在~/sdc/conf/sdc-security.policy中添加：

	// user-defined external directory
	grant codebase "file:///<external directory>--" {
	  permission java.security.AllPermission;
	};

下载JDBC驱动，我的是oracle 11g，下载的是ojdbc6，下载地址https://www.oracle.com/database/technologies/jdbcdriver-ucp-downloads.html

安装
在这里插入图片描述
重启SDC。

2. 构建Pipeline

新建Pipeline

create new pipeline -> 填写Title -> Save

在这里插入图片描述
Select Origin，选择Oracle CDC Client -> Select Destination，选择Kafka Producer

在这里插入图片描述

配置Pipeline
这里可以配置一些pipeline的信息，如名称、执行模式（Standalone、Cluster）等。有一个必须用户指定的配置就是错误数据处理。可以忽略、写入到文件或者写入到其他pipeline等。我这里为了方便直接忽略了。
在这里插入图片描述

配置Oracle CDC Client

这里只说明一些必须的配置项，其他配置项没有测试，详细说明参考官网。

Oracle CDC

  • Tables 需要采集数据的数据库表，可以填写多张表；每张表需要填写schema和table name；也可以通过在table name中填写表达式来匹配多张表；
    我这里使用了SCOTT用户下面的EMP和DEPT两张表做测试。
  • Dictionary Source 选择LogMiner中字典的来源，有Online Catalog和Redo Logs两个选项；
    我使用的是Online Catalog。
  • DB Time Zone 数据库服务器所在的时区，可以使用select dbtimezone from dual查看。

在这里插入图片描述
JDBC

  • JDBC Connection String JDBC连接Oracle的字符串，根据自己的数据库情况填写

在这里插入图片描述
Credentials

  • Username 连接数据库的用户名；用我们上面创建的用户TEST_SDC
  • Password 连接数据库的密码；用我们上面创建的用户密码123456

在这里插入图片描述
其他配置使用默认就行。

配置Kafka

这里只是简单配置，更详细内容可以参考官网。

Kafka

  • Broker URI Kafka集群地址。我的是bigdata01:9092,bigdata02:9092,bigdata03:9092
  • Topic 需要将数据写入哪个Topic。我的是oracle2kafka。

在这里插入图片描述

3. 测试

启动pipeline。
直接在pipeline界面点击start按钮。

启动kafka消费端

	$> kafka-console-consumer 
	--bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 
	--topic oracle2kafka

bootstrap-server与topic参数必须与上面kafka中配置相同。

测试

这里分别向上面配置过的两张表SCOTT.EMP和SCOTT.DEPT插入数据。这里一定要记得commit。

	SQL> insert into SCOTT.DEPT values(65, 'a', 'b');
	SQL> commit;
	SQL> insert into scott.emp values(1234, 'Mike', 'SALESMAN', 7698, '', 1500, 0, 30);
	SQL> commit;

在pipeline页面上可以看到输入了2条数据，输出了2条数据，有0条错误。

在这里插入图片描述
在kafka的消费端也可以看到刚刚插入数据库的2条数据

在这里插入图片描述
至此，oracle到kafka的pipeline就搭建完成了。

且听风吟-MYP
关注
  • 6
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
【SDC】CDH6.3.2中通过parcel安装Streamsets Data Collector 3.14.0
m0_54252387的博客
07-08 513
到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html 下载以下文件：这里下载使用的是 3.14.0版本 共有以下四个文件 STREAMSETS_DATACOLLECTOR-3.22.3-el7.parcel.sha中的内容要和manifest.json中CDH版本一致打开manifest.json文件，此文件时json格式，在其中找到parcelName为"STREAMSETS_DATACOLLECTOR-3.14.0-el7.parc
kafka+flume 实时采集oracle数据到hive中.docx
08-11
讲述如何采用最简单的kafka+flume的方式，实时的去读取oracle中的重做日志+归档日志的信息，从而达到日志文件数据实时写入到hdfs中，然后将hdfs中的数据结构化到hive中。
StreamSets Data Collector（SDC）删除Mysql数据
weixin_44060804的博客
07-16 633
StreamSets Data Collector删除mysql数据
无缝数据传输：StreamSet安装部署的最佳实践
qq_34279303的博客
09-13 1004
StreamSets是一个功能强大且易于使用的流数据集成平台，适用于从各种数据源中提取、转换和加载数据，以及进行实时数据处理和分析的场景，本文重点介绍如何安装部署该工具
Streamsets data collector 操作手册
qq_31515997的博客
05-27 2033
Streamsets data collector 操作手册 1.简介 Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：可视化界面操作，不写代码完成数据的采集和流转内置监控，可是实时查看数据流传输的基本信息和数据的质量强大的整合力，对现有常用组件全力支持，包括50种数据源、44种数据操作、46种目的地。对于Streamsets来说，最重要的概念就是数据(Origi
Streamsets--一个流批一体的ETL工具
daydaylearn的专栏
03-04 4650
什么是StreamSetsData Collector? StreamSets Data Collector是一个轻量级、强大的设计和执行引擎，可以实时处理流数据。使用Data Collector器来路由和处理数据流中的数据。 要定义数据流，需要在Data Collector中设计一个管道(pipeline)。管道由表示管道的起点和目的地的阶段以及希望执行的任何其他处理组成。在设计了管道之后，单击Start，Data Collector开始工作。 Data Collector在数据到达原点(orig.
Streamset读取kafka数据写入kafka
weixin_56381850的博客
02-15 371
读取指定kafka数据，了解连接kafka详细参数，写入另外毅哥kafka
Streamsets data collector 安装
qq_31515997的博客
02-25 1405
Streamstsets data collector
streamsets简介
u010865811的博客
10-31 8401
streamsets（官网地址：https://streamsets.com/）     由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立的公司,总部设在旧金山。streamsets产品做大数据ETL工具，支持包括结构化和半/非结构化数据源，拖拽式的可视化数据流程设计界面。 streamsets的产...
98.StreamSets实时采集Kafka
大勇若怯任卷舒
02-08 1414
98.1 演示环境介绍 已安装Kafka并正常运行 未启用Kerberos RedHat版本：7.4 CM和CDH版本：cdh5.13.3 kafka版本：3.0.0(0.11.0) Kudu版本：1.5.0 98.2 操作演示 1.准备测试环境 创建测试topic kafka-topics --create --zookeeper master.gzyh.com:2181,cdh01.gzyh.com:2181,cdh02.gzyh.com:2181 --replication-factor 3
datacollector:StreamSets Data Collector-连续的大数据和云平台获取基础架构
03-17
什么是StreamSets数据收集器？ StreamSets Data Collector是企业级的，开源的，连续的大数据摄取基础架构。 它具有先进且易于使用的用户界面，使数据科学家，开发人员和数据基础架构团队可以轻松地在创建复杂摄取场景所需的短时间内创建数据管道。 开箱即用的StreamSets Data Collector可以读写大量端点，包括S3，JDBC，Hadoop，Kafka，Cassandra等。 除了大量的预建阶段之外，您还可以使用Python，Javascript和Java Expression Language来即时转换和处理数据。 为了实现容错和横向扩展，可以在集群模式下设置数据管道，并在管道的每个阶段执行细粒度的监视。 要了解更多信息，请访问 构建StreamSets数据收集器 要从源代码构建StreamSets数据收集器，。 执照 StreamSets Dat
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
03-30
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时采集配置文档，详细说明各种不同oracle版本的附加日志以及重做日志配置差异点
数据汇聚Streamsets Data Collector安装部署详细文档
03-30
流批一体数据汇聚工具Streamsets Data Collector（SDC）安装部署运维文档
datacollector, StreamSets DataCollector连续大数据摄取基础架构.zip
09-17
datacollector, StreamSets DataCollector连续大数据摄取基础架构 什么是StreamSets数据收集器？StreamSets数据收集器是一个企业级，开放源码，连续大数据收集基础设施。 它有一个先进且容易使用的用户界面，使数据...
Streamsets Data Collector管道详细配置文档（组件、事件、函数表达式、记录头属性）
03-31
详细介绍Streamsets Data Collector(SDC)管道中源端、目标端、处理器、执行器中各个常用组件及用法配置。说明管道中常用的表达式语句、记录头属性、函数用法。管道的开始和结束事件、RPC管道、数据汇聚增量及全量的...
深入理解Java消息中间件-Apache Kafka
u011532237的博客
04-21 1396
Apache Kafka是一个开源的分布式事件流平台，由LinkedIn创建，并于2011年贡献给了Apache软件基金会。它设计用来高效处理实时数据流和大数据，通过发布-订阅的消息系统提供高吞吐量、持久存储、流数据处理等功能。
Kafka 3.x.x 入门到精通（04）——对标尚硅谷Kafka教程
这里有一只小马吖
04-26 820
Kafka是一个由Scala和Java语言开发的，经典高吞吐量的分布式消息发布和订阅系统，也是大数据技术领域中用作数据交换的核心组件之一。以高吞吐，低延迟，高伸缩，高可靠性，高并发，且社区活跃度高等特性，从而备受广大技术组织的喜爱。
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
qq_41905051的博客
04-23 970
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
Kafka 生产者应用解析
最新发布
lIujunXHU的博客
04-26 699
可以根据实际需要，自定义实现分区器。示例：自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。# 自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。""":function: 自定义分区:param topic: 写入数据所在的topic:param msg: 写入的数据:return:"""# 自定义分区器return 0else:return 1。
java版本的flink读取kafka数据实时uv、pv完整代码实现
07-19
以下是使用Java版本的Flink读取Kafka数据并实时计算UV和PV的完整代码实现： ```java import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值