Datax DB2插件开发

最新推荐文章于 2024-01-05 16:35:53 发布
最新推荐文章于 2024-01-05 16:35:53 发布
阅读量1.4k 收藏 1
点赞数
文章标签： Datax db2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38115310/article/details/108715561
版权

对于datax来说, 其实所有的关系型数据库步骤都差不多, 不同的就在于不同的数据库对于SQL的要求:
例如

开发流程

1. 新建module

在这里插入图片描述

2.DB2配置文件处理

  1. Datax/db2reader/src/main/resources/{json文件}: 负责生成jar包和json模板
  2. Datax/db2reader/pom.xml: 负责maven编译,配置依赖项
  3. Datax/db2reader/src/main/assembly/package.xml: 用来选择文件生成的地址(assembly文件夹需要自己创建)

代码分别为:

  1. plugin.json和plugin_job_template.json(位于Datax/db2reader/src/main/resource/下)
// plugin.json
{
    "name": "db2reader",
    "class": "com.alibaba.datax.plugin.reader.db2reader.Db2Reader",
    "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
    "developer": "alibaba"
}


// plugin_job_template.json
{
  "name": "db2reader",
  "parameter": {
    "username": "",
    "password": "",
    "column": [],
    "connection": [
      {
        "jdbcUrl": [],
        "table": []
      }
    ],
    "where": ""
  }
}
  1. pom.xml(位于Datax/db2reader下)
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>datax-all</artifactId>
        <groupId>com.alibaba.datax</groupId>
        <version>0.0.1-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>db2reader</artifactId>
    <name>db2reader</name>
    <packaging>jar</packaging>

    <dependencies>
        <dependency>
            <groupId>com.alibaba.datax</groupId>
            <artifactId>datax-common</artifactId>
            <version>${datax-project-version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
        </dependency>

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba.datax</groupId>
            <artifactId>plugin-rdbms-util</artifactId>
            <version>${datax-project-version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.ibm.db2/jcc -->
        <dependency>
            <groupId>com.ibm.db2</groupId>
            <artifactId>jcc</artifactId>
            <version>11.5.4.0</version>
        </dependency>

    </dependencies>



    <build>
        <plugins>
            <!-- compiler plugin -->
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>${jdk-version}</source>
                    <target>${jdk-version}</target>
                    <encoding>${project-sourceEncoding}</encoding>
                </configuration>
            </plugin>
            <!-- assembly plugin -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptors>
                        <descriptor>src/main/assembly/package.xml</descriptor>
                    </descriptors>
                    <finalName>datax</finalName>
                </configuration>
                <executions>
                    <execution>
                        <id>dwzip</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
  1. package.xml(位于Datax/db2reader/src/main/assembly/下, assembly文件夹需要手动创建)
<assembly
        xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0 http://maven.apache.org/xsd/assembly-1.1.0.xsd">
    <id></id>
    <formats>
        <format>dir</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <fileSets>
        <fileSet>
            <directory>src/main/resources</directory>
            <includes>
                <include>plugin.json</include>
                <include>plugin_job_template.json</include>
            </includes>
            <outputDirectory>plugin/reader/db2reader</outputDirectory>
        </fileSet>
        <fileSet>
            <directory>target/</directory>
            <includes>
                <include>db2reader-0.0.1-SNAPSHOT.jar</include>
            </includes>
            <outputDirectory>plugin/reader/db2reader</outputDirectory>
        </fileSet>
    </fileSets>

    <dependencySets>
        <dependencySet>
            <useProjectArtifact>false</useProjectArtifact>
            <outputDirectory>plugin/reader/db2reader/libs</outputDirectory>
            <scope>runtime</scope>
        </dependencySet>
    </dependencySets>
</assembly>

3. Java代码

这里要注意几个修改sql的地方,分别位于job的init和split

package com.alibaba.datax.plugin.reader.db2reader;

import com.alibaba.datax.common.exception.DataXException;
import com.alibaba.datax.common.plugin.RecordSender;
import com.alibaba.datax.common.spi.Reader;
import com.alibaba.datax.common.util.Configuration;
import com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader;
import com.alibaba.datax.plugin.rdbms.reader.Constant;
import com.alibaba.datax.plugin.rdbms.reader.Key;
import com.alibaba.datax.plugin.rdbms.util.DataBaseType;
import com.alibaba.datax.plugin.rdbms.util.DBUtilErrorCode;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;


import java.util.List;


public class Db2Reader extends Reader {
    private static final DataBaseType DATABASE_TYPE = DataBaseType.DB2;

    public static class Job extends Reader.Job{
        private static final Logger Log = LoggerFactory.getLogger(Job.class);

        private Configuration originalConfig = null;
        private CommonRdbmsReader.Job commonRdbmsReaderJob;

        @Override
        public void init(){
            this.originalConfig = super.getPluginJobConf();

            Integer userConfigFetchSize = this.originalConfig.getInt(Constant.FETCH_SIZE, 1024);
            if (userConfigFetchSize < 1){
                throw DataXException.asDataXException(DBUtilErrorCode.REQUIRED_VALUE,
                        String.format("您配置的 fetchSize 有误，fetchSize:[%d] 值不能小于 1.",
                                userConfigFetchSize));
            }

            // 处理表结构
            String tableName = this.originalConfig.getString(String.format(
                    "%s[0].%s[0]", Constant.CONN_MARK, Key.TABLE));
            tableName = String.format("\"%s\"", tableName);
            this.originalConfig.set(String.format(
                    "%s[0].%s[0]", Constant.CONN_MARK, Key.TABLE), tableName);

            this.originalConfig.set(Constant.FETCH_SIZE, userConfigFetchSize);

            this.commonRdbmsReaderJob = new CommonRdbmsReader.Job(DATABASE_TYPE);
            this.commonRdbmsReaderJob.init(this.originalConfig);

        }

        @Override
        public void preCheck(){
            init();
            this.commonRdbmsReaderJob.preCheck(this.originalConfig, DATABASE_TYPE);
        }


        @Override
        public List<Configuration> split(int adviceNumber){

            // 处理column字段
            String column = this.originalConfig.getString(Key.COLUMN);
            String[] columns;
            columns = column.split(",");
            String newColumns = "";
            String thisColumn;
            for(int j=0; j<columns.length; j++){
                thisColumn = String.format("\"%s\",", columns[j]);
                newColumns = newColumns + thisColumn;
            }
            newColumns = newColumns.substring(0, newColumns.length()-1);
            this.originalConfig.set(Key.COLUMN, newColumns);

            return this.commonRdbmsReaderJob.split(this.originalConfig, adviceNumber);
        }

        @Override
        public void post(){
            this.commonRdbmsReaderJob.post(this.originalConfig);
        }


        @Override
        public void destroy(){
            this.commonRdbmsReaderJob.destroy(this.originalConfig);
        }
    }


    public static class Task extends Reader.Task{

        private Configuration readerSliceConfig;
        private CommonRdbmsReader.Task commonRdbmsReaderTask;

        @Override
        public void init(){
            this.readerSliceConfig = super.getPluginJobConf();

            this.commonRdbmsReaderTask = new CommonRdbmsReader.Task(DATABASE_TYPE, super.getTaskGroupId(), super.getTaskId());
            this.commonRdbmsReaderTask.init(this.readerSliceConfig);
        }

        @Override
        public void startRead(RecordSender recordSender){
            int fetchSize = this.readerSliceConfig.getInt(Constant.FETCH_SIZE);
            this.commonRdbmsReaderTask.startRead(this.readerSliceConfig, recordSender,
                    super.getTaskPluginCollector(), fetchSize);
        }

        @Override
        public void post(){
            this.commonRdbmsReaderTask.post(this.readerSliceConfig);
        }

        @Override
        public void destroy(){
            this.commonRdbmsReaderTask.destroy(this.readerSliceConfig);
        }
    }

}

4.构建项目的配置文件

修改package.xml和pom.xml(位于Datax/下)
在这里插入图片描述
在这里插入图片描述

5. 编译后测试运行

  1. 执行maven命令进行编译
 mvn -U clean package assembly:assembly -Dmaven.test.skip=true
  1. 构建json文件进行测试
{
  "job": {
    "setting": {
      "speed": {
        "channel": "5"
      },
      "errorLimit": {
        "record": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "db2reader",
          "parameter": {
            "username": "username",
            "password": "password",
            "column": [
              "id",
              "age",
              "name",
              "noId",
              "street",
              "phoneNumber",
              "email",
              "bankNo",
              "domain",
              "mac",
              "ip",
              "date"
            ],
            "connection": [
              {
                "table": [
                  "Student"
                ],
                "jdbcUrl": [
                  "jdbc:db2://ip:port/database_name"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysql8writer",
          "parameter": {
            "writeMode": "insert",
            "username": "username",
            "password": "password",
            "column": [
              "`id`",
              "`age`",
              "`name`",
              "`noId`",
              "`street`",
              "`phoneNumber`",
              "`email`",
              "`bankNo`",
              "`domain`",
              "`mac`",
              "`ip`",
              "`date`"
            ],
            "session": [
              "set session sql_mode='ANSI'"
            ],
            "preSql": [],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://ip:port/database_name?characterEncoding=utf8",
                "table": [
                  "`Person3`"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}
  1. 运行查看结果
python datax.py mysql8test.json

在这里插入图片描述
4. 成功
在这里插入图片描述
去数据库查看, 同步成功

钢琴线与小刀
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
datax数据迁移插件-db2reader
01-16
datax数据迁移插件，DB2数据库读取插件
DataX与DB2导入导出案例
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
03-08 9041
DataX与DB2导入导出案例
datax从DB2抽取到OceanBase
星空下的华尔兹
09-16 1107
DataX实现DB2到OceanBase DataX实现DB2到OceanBase 环境准备 一、Datax 处理 Datax源码进行打包时，确保有配置rdbmsreader和rdbmswriter ,确保包里有 db2jcc4.jar ，打包完成后上传服务器进行环境配置，能够执行 Python datax.py test.json 二、json 配置 test.json { "job": { "setting": { "speed": {
datax同步doris到DB2数据同步超时问题
Jmayday
04-23 1168
datax同步doris查询超时
DataX：通用数据采集工具，源自阿里巴巴DataX，增加了更多的读写插件，HDFS读写功能增强，支持Cassandra，ClickHouse，DBF，Hive，InfluxDB，Kudu，MySQL，Oracle，Presto（Trino），PostgreSQL ，SQL Server等数据源
02-03
DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来，经过了精简和改造，说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括： 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件，目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能，罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的
datax数据迁移插件-db2writer
01-16
《DataX数据迁移插件-DB2Writer深度解析》 DataX是阿里巴巴开源的一款强大而高效的数据同步工具，它能够实现在多种数据存储之间进行数据迁移。在大数据领域，数据迁移是一项至关重要的任务，尤其在企业级应用中，...
Datax 插件开发 Kafka writer.pdf
11-15
开发插件需要了解 Datax 的核心概念，包括 Job、Task、TaskGroup、JobContainer 和 TaskGroupContainer。同时，需要了解 Datax 的运行模式，包括 Standalone、Local 和 Distributed 模式。 开发 Kafka writer 插件...
datax clickhouse 读插件
11-09
《DataX ClickHouse 读插件使用详解》 在大数据处理领域，DataX作为一个高效、稳定的数据同步工具，被广泛应用于各种数据源之间的数据迁移。本文将深入探讨DataX中的ClickHouse读插件，帮助读者理解如何使用这个...
datax插件verticawriter
08-09
在DataX中，VerticaWriter是一个专门用于将数据写入Vertica数据库的插件，旨在满足用户对Vertica数据库的数据导入需求。 Vertica是一款高性能、可扩展的列式数据库，广泛应用于大数据分析场景。VerticaWriter插件...
尚硅谷大数据技术之 DataX—3）DB2的特殊处理
weixin_61594803的博客
02-04 1720
3.1 什么是db 2 DB2 是 IBM 公司于 1983 年研制的一种关系型数据库系统(Relational Database Management System)，主要应用于大型应用系统，具有较好的可伸缩性 。DB2是IBM推出的第二个关系型数据库，所以称为 db2。DB2 提供了高层次的数据利用性、完整性、安全性 、并行性、可恢复性，以及小规模到大规模应用程序的执行能力，具有与平台无关的基本功能和SQL命令运行环境。可以同时在不同操作系统使用，包括Linux、UNIX 和 Windows。 3.2
DataX clickhousereader clickhousewriter 插件包下载
07-20
编译好的 Clickhousereader Clickhousewriter 插件包 放在 datax\plugin 目录下 即可运行
DB2到Oracle的数据迁移
11-28
DB2到Oracle的数据迁移，使用export完成DB2的数据导出，然后用SQLLoader完成Oracle的数据导入。
Datax多源数据同步工具介绍、详解及部署使用
最新发布
T_Ghost的博客
01-05 2665
datax介绍及其使用方式
DataX执行的json文件详细解析
qq_43523503的博客
03-06 7384
1.3 DataX执行的json文件解析 { job: //最外侧，任务 setting:{ //设置 speed:{ //速度 channel:3 //指定用几个子线程去跑这个任务，线程越多，速度越快 content:{ //内容 reader:{ //读数据部分 name:"hdfsreader" //指明什么类型的reader，hdfsreader读HDFS parameter:{ //参数 pa
datax写入mysql_datax示例 - 从mysql读数据，写入db2
weixin_33291624的博客
01-20 933
参考地址：https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md1.配置rdbmswriter的db2驱动(首次使用)说明：datax暂时没有独立插件支持db2，需要使用通用RDBMS；这里是写入db2，使用rdbmswriter，对应目录为/usr/soft/datax/plugin/writer/r...
datax示例 - 从mysql读数据，写入db2
a2589293499的博客
11-19 2645
参考地址：https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md 1.配置rdbmswriter的db2驱动（首次使用） 说明：datax暂时没有独立插件支持db2，需要使用通用RDBMS；这里是写入db2，使用rdbmswriter，对应目录为/usr/soft/datax/plugin/writ...
DataX 数据源同步
anguoan的博客
02-20 818
datax运行原理和架构
ETL工具阿里DataX与DataX-Web的安装部署
一个天蝎座的程序猿
11-11 2557
一、下载tar包 github地址：https://github.com/alibaba/DataX 下载tar包地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 二、上传tar包解压并安装 上传至服务器/opt/下并解压 tar -xzvf datax.tar.gz 三、上传解压datax-web 链接: https://pan.baidu.com/s/1B8bb_KeyIYvpbI5s3IwCjA 提取码: 3
datax自定义插件开发
05-23
DataX是一个开源的数据同步工具，它支持多种数据源和目标数据存储。为了满足用户的个性化...需要注意的是，DataX自定义插件开发需要熟悉Java编程语言和DataX框架的使用，同时需要了解数据源和目标数据存储的技术特点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值