Seatunnel超高性能分布式数据集成平台使用体会

IT小神

已于 2022-08-31 22:50:57 修改

阅读量7.3k

点赞数

分类专栏：大数据数据仓库运维文章标签：分布式大数据 flink

于 2022-08-27 00:34:13 首次发布

本文链接：https://blog.csdn.net/qq_20949471/article/details/126552322

版权

大数据同时被 3 个专栏收录

44 篇文章 1 订阅

订阅专栏

运维

22 篇文章 1 订阅

订阅专栏

数据仓库

18 篇文章 0 订阅

订阅专栏

文章目录

概述
安装

概述

定义

SeaTunnel 官网 http://seatunnel.incubator.apache.org/

SeaTunnel 最新版本官网文档 http://seatunnel.incubator.apache.org/docs/2.1.3/intro/about

SeaTunnel GitHub地址 https://github.com/apache/incubator-seatunnel

SeaTunnel是一个非常易用的超高性能分布式数据集成平台，在企业中由于开发时间或开发部门不通用往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行；而一个有价值的数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享；SeaTunnel 支持海量数据的实时同步，它每天可以稳定高效地同步数百亿的数据，并已用于近100家公司的生产。最新版本为v2.1.3（作为下一代高性能、分布式、海量数据集成框架）

SeaTunnel原名WaterDrop（水滴），自2021年 10月 12日更名为 SeaTunnel。2021年 12月 9日，SeaTunnel正式通过 Apache软件基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目。2022 年 3 月 18 日社区正式发布了首个 Apache 版本v2.1.0。
本质上SeaTunnel 没有对 Spark 和 Flink的改造，而是在这两者的基础上做了一层包装，主要运用控制反转设计模式，这也是 SeaTunnel实现的基本思想。
SeaTunnel 的日常使用，就是编辑配置文件，编辑好的配置文件由 SeaTunnel 转换为具体的 Spark或 Flink 任务。

使用场景

海量数据同步
海量数据集成
海量数据的ETL
海量数据聚合
多源数据处理

特点

使用方便，配置灵活，近乎低代码开发
实时流媒体
离线多源数据分析
高性能、海量数据处理能力
模块化和插件机制，易于扩展
支持SQL对数据进行处理和聚合
支持Spark structured streaming
支持Spark 2.x

工作流程

SeaTunnel 有丰富的连接器且以 Spark 和 Flink 为引擎，所以可以很好地进行分布式的海量数据同步。一般来说使用SeaTunnel作为出仓入仓的工具，或者用于数据集成，主要流程如下：

Source[Data Source Input] -> Transform[Data Processing] -> Sink[Result Output]

数据处理管道由多个滤波器组成，以满足各种数据处理需求，最简单有效就是通过SQL直接构造数据处理管道。目前，SeaTunnel支持的过滤列表还在扩展中。此外，还可以开发自己的数据处理插件，得益于SeaTunnel系统基于插件化设计思想实现的强可扩展性。

连接器

Source：Druid、Elasticsearch、Fake（伪造数据主要用于测试）、Feishu、Sheet、File、HBase、Hive、Http、Hudi、Iceberg、InfluxDb、Jdbc、Kafka、Kudu、MongoDb、Phoenix、Redis、Socket、Tidb、WebhookStream、Common OptionsSource common parametersNeo4j自主开发的输入插件。
Sink： Assert、Clickhouse、 ClickhouseFile、 Console、 Doris、Druid、Elasticsearch、 Email、 File、 Hbase、 Hive、 Hudi、 Iceberg、InfluxDB、 Jdbc、 Kafka、 Kudu、 MongoDB、 Phoenix、 Redis、 TiDb、 Common Options、自主开发的输出插件。
Flink-sql of SeaTunnel:Flink SQL ElasticSearch 连接器、Flink SQL JDBC 连接器、Flink SQL Kafka 连接、如何使用flink sql 模块。

连接器在实际开发中的使用直接查找官方对应章节即可

转换

用于转换或过滤插件包括如下：添加校验、转换、日期、删除、Grok、Json、KV、大写、小写、删除、重命名、重分区、替换、样本、拆分、Sql、表、截断、Uuid，自主开发的过滤器插件。详细可查阅官网地址

为何选择SeaTunnel

SeaTunnel将尽力解决在海量数据同步过程中可能遇到的问题:

数据丢失和重复。
任务积累和延迟。
低吞吐量。
在生产环境中应用的周期长。
缺乏应用程序运行状态监控。

安装

下载

Seatunnel支持多种安装方式，包括locally本地的二进制安装、docker安装、k8s安装,我们先以locally的方式安装和演示。

# 下载
wget https://dlcdn.apache.org/incubator/seatunnel/2.1.3/apache-seatunnel-incubating-2.1.3-bin.tar.gz
# 解压
tar -xvf apache-seatunnel-incubating-2.1.3-bin.tar.gz
# 进入目录
cd apache-seatunnel-incubating-2.1.3

配置文件

在config/seatunnel-env.sh中更改设置;如果使用Spark作为引擎，请更改SPARK_HOME，如果使用Flink，请更改FLINK_HOME默认的话，SPARK_HOME和FLINK_HOME用的都是对应的系统环境变量值，如果没有，使用:-后面的值，按需修改即可。我们本篇示例以Flink为主，在前面关于Flink文章提前设置好FLINK_HOME这个环境变量，这里直接使用即可。

在SeaTunnel中，最重要的是配置文件，可以通过配置文件定制自己的数据同步需求，最大限度地发挥SeaTunnel的潜力。配置文件包含几个部分:env、source、transform、sink；相关模块功能如下描述：

env:用于添加一些引擎可选参数，无论是哪个引擎(Spark还是Flink)，都要在这里填写相应的可选参数。
source:用于定义SeaTunnel需要在何处获取数据，并使用获取的数据进行下一步操作。可以同时定义多个源。现在支持的源检查SeaTunnel的源。每个源都有自己的特定参数来定义如何获取数据，SeaTunnel还提取每个源将使用的参数，例如result_table_name参数，用于指定当前源生成的数据名称，方便其他模块后续使用，详细可以查阅官方支持source连接器。
transform:当有了数据源后，业务可能需要进一步处理数据，因此提供转换模块。当然这里使用了“可能”这个词意味着也可以直接将转换视为不存在的，直接从source到sink。与source一样，transform也具有属于每个模块的特定参数，详细可以查阅官方支持变换功能。
sink：使用SeaTunnel目的是将数据从一个位置同步到另一个位置，因此定义如何以及在何处写入数据是至关重要的；通过SeaTunnel提供的sink模块，可以快速高效地完成这个操作。sink和source非常相似，但区别在于读取和写入，详细可以查阅官方支持sink连接器。
其他：当定义多个源和多个接收器时，每个接收器读取哪些数据，每个转换读取哪些数据?使用result_table_name和source_table_name两个关键配置。每个source模块都会配置一个result_table_name，表示该数据源生成的数据源名称，其他转换和接收模块可以使用source_table_name引用相应的数据源名称表示想读取数据进行处理。然后transform作为中间处理模块，可以同时使用result_table_name和source_table_name配置。并不是每个模块都配置了这两个参数，因为在SeaTunnel中有一个默认约定，如果没有配置这两个参数，那么将使用从上一个节点的最后一个模块生成的数据，特别是当只有一个源时就方便多了。

部署模式

在缩放中运行引擎,本节是关于引擎的，不是SeaTunnel本身，不做过多阐述，Spark和Flink都可以运行在不同类型的集群中，并且可以运行在任何规模的集群中。下面只展示建立在Spark或Flink引擎之上的SeaTunnel的基本用法，如果想扩展引擎集群请参阅Spark或Flink官网文档。

Local Mode(Spark Only)

./bin/start-seatunnel-spark.sh \
--master local[4] \
--deploy-mode client \
--config ./config/application.conf

Standalone Cluster

bin/start-seatunnel-flink.sh \
--config config-path

# -p 2 specifies that the parallelism of flink job is 2. You can also specify more parameters, use flink run -h to view
bin/start-seatunnel-flink.sh \
-p 2 \
--config config-path

Yarn Cluster

bin/start-seatunnel-flink.sh \
-m yarn-cluster \
--config config-path

# -ynm seatunnel specifies the name displayed in the yarn webUI as seatunnel, you can also specify more parameters, use flink run -h to view
bin/start-seatunnel-flink.sh \
-m yarn-cluster \
-ynm seatunnel \
--config config-path

Mesos Cluster(Spark Only)

# cluster mode
./bin/start-seatunnel-spark.sh \
--master mesos://ip:7077 \
--deploy-mode cluster \
--config ./config/application.conf

入门示例

如何部署Flink可以参考前一篇文章《新一代分布式实时流处理引擎Flink入门实战操作篇]》，在前面文章中部署的是最新版本1.15.1的，超过SeaTunnel官网支持Flink版本范围，因此可选择安装flink1.12.7或flink-1.13.6的版本，安装过程步骤参考之前文章

部署好flink1.12.7或flink-1.13.6的Flink,启动Standalone集群

# 环境变量配置flink得Home目录
export FLINK_HOME=/home/commons/flink-1.12.7
# 进入Flink目录
cd /home/commons/flink-1.12.7
# 启动flink的Standalone集群
./bin/start-cluster.sh

在config目录下官网提供flink和spark的多个简易配置模板，上一节说到SeaTunnel的连接器是非常丰富的，入门示例就以flink简单流式处理从Socket数据源读取数据，转换后输出到Console控制台，配置模板使用官网提供的flink.streaming.conf.template，创建flink-streaming-test-01.conf，内容如下：

vi config/flink-streaming-test-01.conf

env {
  # flink 配置
  execution.parallelism = 1
  #execution.checkpoint.interval = 10000
  #execution.checkpoint.data-uri = "hdfs://localhost:9000/checkpoint"
}
# 配置数据源
source {  
  SocketStream {
    host = hadoop1
    result_table_name = "socket_demo_table"
    field_name = "info"    
  }
}
# 配置转换插件
transform {
  Split{
    separator = "#"
    fields = ["name","age"]
  }
  sql {
    sql = "select info,split(info) from socket_demo_table"
  }
}
# 声明输出
sink {
  ConsoleSink {}
}

保存配置内容后，先在hadoop1开一个连接窗口，开启一个netcat服务来发送数据，nc -lk 9999 监听socket端口

# 启动seatunnel
./bin/start-seatunnel-flink.sh \
--config ./config/flink-streaming-test-01.conf

在hadoop1也即是ckserver1监听端口按#分隔输出下面几条数据

访问Flink的控制台UI页面http://hadoop1:8081/ ，找到刚运行的任务的日志，可以看到已经将info字段拆分为name和age两个字段输出

启动脚本

在前面示例使用start-seatunnle-flink.sh可以指定3个参数，分别是

–-config参数用来指定应用配置文件的路径。上面入门的示例也已使用到了。
–variable参数可以向配置文件传值。自从v1.2.4, SeaTunnel支持配置中的变量替换。此特性通常用于定时或非定时脱机处理，以替换时间和日期等变量配置文件内是支持声明变量的，可以通过命令行给配置中的变量赋值，变量声明语法如下：
```
transform {
  sql {
    sql = "select * from user_view where city ='"${city}"' and dt = '"${date}"'"
  }
}

./bin/start-seatunnel-flink.sh \
--config ./config/flink-streaming-test-01.conf \
-i city=shanghai \
-i date=20190319
```
- 在配置文件的任何位置都可以声明变量。并用命令行参数–variable key=value的方式将变量值传进去，你也可以用它的短命令形式 -i key=value。传递参数时，key需要和配置文件中声明的变量名保持一致。
- 如果需要传递多个参数，那就在命令行里面传递多个-i或–variable key=value。
–-check参数用来检查config语法是否合法。将入门示例故意修改错误格式，在第一行env前面加hello字符串，保存后运行后执行带上–check参数，通过检查出现缺少 env配置的错误提示。

配置文件使用参数示例

使用前面的入门示例，输出年龄大于指定输出参数年龄的数据，修改transform的sql语句

sql = "select * from (select info,split(info) as info_record from socket_demo_table) where age > '"${age}"'"

保存配置内容后，先在hadoop1开一个连接窗口，开启一个netcat服务来发送数据，nc -lk 9999 监听socket端口

# 启动seatunnel
./bin/start-seatunnel-flink.sh \
--config ./config/flink-streaming-test-01.conf -i age=25

在hadoop1也即是ckserver1监听端口按#分隔输出下面几条数据

访问Flink的控制台UI页面http://hadoop1:8081/ ，找到刚运行的任务的日志，可以看到已经将info字段拆分为name和age两个字段输出

Kafka进Kafka出的ETL示例

编写配置文件，vi config/flink-streaming-test-02.conf

env {
  # flink 配置
  execution.parallelism = 1
}
# 配置数据源
source {  
  KafkaTableStream {
    consumer.bootstrap.servers = "192.168.5.120:9092,192.168.5.121:9092,192.168.5.122:9092"
    consumer.group.id = "seatunnel-test"
    topics = seatunnel-kafka-in
    result_table_name = test
    format.type = csv
    schema = "[{\"field\":\"name\",\"type\":\"string\"},{\"field\":\"age\",\"type\":\"int\"}]"
    format.field-delimiter = ";"
    format.allow-comments = "true"
    format.ignore-parse-errors = "true"
  }
}
# 配置转换插件
transform {
  sql {
    sql = "select name,age from test where age > '"${age}"'"
  }
}
# 声明输出
sink {
  kafka {
    topics = "seatunnel-kafka-out"
    producer.bootstrap.servers = "192.168.5.120:9092,192.168.5.121:9092,192.168.5.122:9092"
  }
}

创建kafka的测试示例的输入和输出的topic

# 如果先创建过可以执行先删除topic，可选
./kafka-topics.sh --delete --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic seatunnel-kafka-in
./kafka-topics.sh --delete --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic seatunnel-kafka-out

./kafka-topics.sh --create --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --replication-factor 1 --partitions 3 --topic seatunnel-kafka-in
./kafka-topics.sh --create --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --replication-factor 1 --partitions 3 --topic seatunnel-kafka-out

启动seatunnel

./bin/start-seatunnel-flink.sh --config ./config/flink-streaming-test-02.conf -i age=25

查询Flink的控制台UI页面http://hadoop1:8081/ ，找到刚运行的任务查看其概览可以看到使用Kafka的Source和Sink

kafka生产数据

./kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic seatunnel-kafka-out

kafka消费数据，结果是正确的

# 消费输出
./kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic seatunnel-kafka-in

Flink Run传递参数

-p 2指定flink job的并行度为2，还也可以指定更多的参数，使用flink运行-h查看,

# 将配置文件中env中execution.parallelism注释掉，改为参数传递的方式
# execution.parallelism = 1
# 启动seatunnel
./bin/start-seatunnel-flink.sh --config ./config/flink-streaming-test-02.conf -p 2 -i age=25

访问Flink的控制台UI页面http://hadoop1:8081/ 查看当前job有两个，3个slot使用了2个，可用只剩1个