DataX把mysql数据导入rpdsql(mysql)

最新推荐文章于 2023-06-07 15:46:38 发布
最新推荐文章于 2023-06-07 15:46:38 发布
阅读量826 收藏 2
点赞数 1
分类专栏： mysql 文章标签： mysql database etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43084715/article/details/124471769
版权

首先，在MySQL中准备数据，以lineitem表为例。然后通过DataX将MySQL库中的lineitem表中的数据，迁移到RapidsDB的表lineitem中。

1、在mysql创建lineitem表

CREATE TABLE `lineitem` (
  `l_orderkey` bigint(11) NOT NULL,
  `l_partkey` int(11) NOT NULL,
  `l_suppkey` int(11) NOT NULL,
  `l_linenumber` int(11) NOT NULL,
  `l_quantity` decimal(15,2) NOT NULL,
  `l_extendedprice` decimal(15,2) NOT NULL,
  `l_discount` decimal(15,2) NOT NULL,
  `l_tax` decimal(15,2) NOT NULL,
  `l_returnflag` char(1) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `l_linestatus` char(1) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `l_shipdate` date NOT NULL,
  `l_commitdate` date NOT NULL,
  `l_receiptdate` date NOT NULL,
  `l_shipinstruct` char(25) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `l_shipmode` char(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `l_comment` varchar(44) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL);

2、导入数据

mysql> LOAD DATA LOCAL INFILE '/opt/lineitem.csv' into table tpch.lineitem FIELDS TERMINATED BY '|' lines TERMINATED by '|\n' ;
Query OK, 119994608 rows affected (27 min 17.10 sec)
Records: 119994608  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select count(1) from lineitem;
+-----------+
| count(1)  |
+-----------+
| 119994608 |
+-----------+
1 row in set (2 min 14.93 sec)

3、编辑datax配置文件

[root@mysql5 bin]# cat stream2stream_writer.json
{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "*",
                        ],
                        "connection": [
                            {
                                "table": [
                                    "lineitem"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://192.168.1.67:3306/tpch"
                                ]
                            }
                        ]
                    }
                },
        "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "replace",
                        "username": "test1",
                        "password":"123456",
                        "column": ["*"],
                        "session": [],
                        "preSql": [],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://192.168.1.152:13306/tpch",
                                "table": [
                                    "lineitem"
                                ]
                            }
                        ]
                    }
               }
           }
        ]
    }
}

4、在rpdsql中创建lineitem表（参考1步骤）

5、执行DataX脚本文件

[root@mysql5 bin]# ./datax.py stream2stream_writer.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2022-04-28 12:45:36.649 [main] WARN  ConfigParser - 插件[mysqlreader,mysqlwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错                    误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
2022-04-28 12:45:37.657 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[                    /opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[                    /opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.

查看/opt/datax/plugin/reader/目录下有._*文件，删除即可。

删除步骤如下：

[root@mysql5 reader]# find /opt/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
[root@mysql5 reader]# find /opt/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf

6、继续执行脚本

[root@mysql5 bin]# ./datax.py ./stream2stream_writer.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2022-04-28 12:50:13.418 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemI                                                                          mpl
2022-04-28 12:50:13.430 [main] INFO  Engine - the machine info  =>

        osInfo: Oracle Corporation 1.8 25.171-b11
        jvmInfo:        Linux amd64 3.10.0-1160.15.2.el7.x86_64
        cpu num:        8

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 256.00MB                       | 256.00MB
        Code Cache                     | 240.00MB                       | 2.44MB
        Compressed Class Space         | 1,024.00MB                     | 0.00MB
        PS Survivor Space              | 42.50MB                        | 42.50MB
        PS Old Gen                     | 683.00MB                       | 683.00MB
        Metaspace                      | -0.00MB                        | 0.00MB


2022-04-28 12:50:13.454 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"mysqlreader",
                                "parameter":{
                                        "column":[
                                                "*"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":[
                                                                "jdbc:mysql://192.168.30.67:3306/tpch"
                                                        ],
                                                        "table":[
                                                                "lineitem1"
                                                        ]
                                                }
                                        ],
                                        "password":"******",
                                        "username":"root"
                                }
                        },
                        "writer":{
                                "name":"mysqlwriter",
                                "parameter":{
                                        "column":[
                                                "*"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":"jdbc:mysql://192.168.30.152:13306/tpch",
                                                        "table":[
                                                                "lineitem"
                                                        ]
                                                }
                                        ],
                                        "password":"******",
                                        "preSql":[],
                                        "session":[],
                                        "username":"test1",
                                        "writeMode":"replace"
                                }
                        }
                }
        ],
        "setting":{
                "errorLimit":{
                        "percentage":0.02,
                        "record":0
                },
                "speed":{
                        "channel":3
                }
        }
}

2022-04-28 12:50:13.475 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: n                                                                          ull
2022-04-28 12:50:13.478 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2022-04-28 12:50:13.478 [main] INFO  JobContainer - DataX jobContainer starts job.
2022-04-28 12:50:13.480 [main] INFO  JobContainer - Set jobId = 0
2022-04-28 12:50:14.270 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://192.168.30                                                                          .67:3306/tpch?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatem                                                                          ents=true.
2022-04-28 12:50:14.271 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因                                                                          为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并                                                                          作出修改.
2022-04-28 12:50:14.860 [job-0] INFO  OriginalConfPretreatmentUtil - table:[lineitem] all columns:[
l_orderkey,l_partkey,l_suppkey,l_linenumber,l_quantity,l_extendedprice,l_discount,l_tax,l_returnflag,l_linesta                                                                          tus,l_shipdate,l_commitdate,l_receiptdate,l_shipinstruct,l_shipmode,l_comment
].
2022-04-28 12:50:14.860 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为                                                                          您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置                                                                          并作出修改.
2022-04-28 12:50:14.862 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
replace INTO %s (l_orderkey,l_partkey,l_suppkey,l_linenumber,l_quantity,l_extendedprice,l_discount,l_tax,l_ret                                                                          urnflag,l_linestatus,l_shipdate,l_commitdate,l_receiptdate,l_shipinstruct,l_shipmode,l_comment) VALUES(?,?,?,?                                                                          ,?,?,?,?,?,?,?,?,?,?,?,?)
], which jdbcUrl like:[jdbc:mysql://192.168.30.152:13306/tpch?yearIsDateType=false&zeroDateTimeBehavior=conver                                                                          tToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
2022-04-28 12:50:14.863 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2022-04-28 12:50:14.863 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2022-04-28 12:50:14.864 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2022-04-28 12:50:14.864 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2022-04-28 12:50:14.865 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2022-04-28 12:50:14.870 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] splits to [1] tasks.
2022-04-28 12:50:14.871 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2022-04-28 12:50:14.895 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2022-04-28 12:50:14.901 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2022-04-28 12:50:14.903 [job-0] INFO  JobContainer - Running by standalone Mode.
2022-04-28 12:50:14.914 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] ta                                                                          sks.
2022-04-28 12:50:14.919 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2022-04-28 12:50:14.920 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2022-04-28 12:50:14.929 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is sta                                                                          rted
2022-04-28 12:50:14.934 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select * f                                                                          rom lineitem1
] jdbcUrl:[jdbc:mysql://192.168.30.67:3306/tpch?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyIn                                                                          t1isBit=false&rewriteBatchedStatements=true].
2022-04-28 12:50:14.960 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select * f                                                                          rom lineitem1
] jdbcUrl:[jdbc:mysql://192.168.30.67:3306/tpch?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyIn                                                                          t1isBit=false&rewriteBatchedStatements=true].
2022-04-28 12:50:15.231 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[303                                                                          ]ms
2022-04-28 12:50:15.232 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2022-04-28 12:50:24.928 [job-0] INFO  StandAloneJobContainerCommunicator - Total 4 records, 424 bytes | Speed 42B/s, 0 records/s | Error 0 records, 0 bytes |  All T                    ask WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2022-04-28 12:50:24.929 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2022-04-28 12:50:24.930 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2022-04-28 12:50:24.930 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do post work.
2022-04-28 12:50:24.930 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2022-04-28 12:50:24.931 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/datax/hook
2022-04-28 12:50:24.932 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s

2022-04-28 12:50:24.933 [job-0] INFO  JobContainer - PerfTrace not enable!
2022-04-28 12:50:24.933 [job-0] INFO  StandAloneJobContainerCommunicator - Total 4 records, 424 bytes | Speed 42B/s, 0 records/s | Error 0 records, 0 bytes |  All T                    ask WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2022-04-28 12:50:24.934 [job-0] INFO  JobContainer -
任务启动时刻                    : 2022-04-28 12:50:13
任务结束时刻                    : 2022-04-28 12:50:24
任务总计耗时                    :                 11s
任务平均流量                    :               42B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   4
读写失败总数                    :                   0

7、查询rpdsql下的lineitem表查看已经有数据同步过来。

蜡津
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
datax将mysql导入文本_Datax使用SQL语句数据导入
weixin_39695241的博客
02-01 860
{"job": {"setting": {"speed": {"channel": 2}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "XXX","password": "XXX","connection": [{"querySql": ["select id,name,times from tr...
DataX的使用场景及配置文件
最新发布
AKANGYONG的博客
04-07 270
DataX
关于数据同步工具DataX部署
u011868279的博客
03-28 454
关于数据同步工具DataX部署
datax源码环境搭建
lucasma的博客
08-01 2838
文章目录datax源码环境搭建写在前面环境下载源码并编译错误1错误2运行生产模式debug模式 datax源码环境搭建 写在前面 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 我最近打算花点时间，深度研究下DataX的源码。按照我以前看源码的经验，我一般都会在本地搭建好调试环境，通过debug的方式调试。 环境 这里是说
模块“mySQLPlugin“无法被加载，因此插件“mySQLPlugin“加载失败
ShrimpsChen的博客
06-07 1127
模块"mySQLPlugin"无法被加载，因此插件"mySQLPlugin"加载失败
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
datax读写MySQL8的插件
04-19
datax读写MySQL8的插件，修改源码重新编译而来
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
datax-es:从mysql导入es 重写代码
05-16
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
使用Datax 完整迁移sqlserver至mysql，附自动化脚本和日志分析
qq_40267975的博客
02-03 1622
本次数据迁移涉及表达到亿级数据，只是时间上不是很友好，如果服务器允许多开线程可以提高些许速度。
离线数仓(4) 使用dataX全量同步业务表(脚本实现mysql_to_hdfs)
qq_44665283的博客
04-26 1150
dataX的基本使用可以参考：离线数仓（2）DataX的使用详解 DataX配置文件批量生成脚本 # coding=utf-8 import json import getopt import os import sys import MySQLdb #MySQL相关配置，需根据实际情况作出修改 mysql_host = "server15" mysql_port = "3306" mysql_user = "root" mysql_passwd = "root" #HDFS NameNode相关配置，
DataX
理想主义的花终将盛开在浪漫主义的土壤里，我的热情永远不会熄灭在现实的平凡之中，我们终将上岸，阳光万里。
06-07 888
浅学一下Alibaba开源数据同步工具吧
yorc.json_DataX-HDFS(读写)
weixin_36118143的博客
12-23 530
DataX操做HDFS读取HDFS1 快速介绍HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orcfile(orc)、rcfile(rc)、sequence file(seq)和普通逻辑二维表(csv)类...
datax（六）源码阅读之外部插件加载机制(reader、writer)
qq_31957747的博客
01-02 1862
目录 一、插件使用方法 二、插件机制原理 三、源码走读 四、QA 一、插件使用方法 众所周知，datax通过插件机制，动态的在运行时载入reader和writer进行数据同步的执行。 站在用户侧，用户只需要做下列步骤就可以实现插件执行 1、按datax的约定实现自己的插件，并放在${DATAX_HOME}/plugin/reader/或者${DATAX_HOME}/plugin/writer/目录下，以mysqlreader为例 jar包就是用户实现的mysqlreader插件，lib
Datax使用遇到的坑
qq_44150902的博客
08-23 1192
最近有个需求是要把postgresql的几个表数据迁移到mysql服务器上。我这边采用的是工具，。但Datax在使用的过程中遇到了一些坑，问题记录如下：所使用的myjob.json文件。
datax 拼裝json-java方式
PJF1501105594的博客
10-23 597
package kafkaMQ; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.sql.Conn.
怎么使用datax将MySQL数据导入hdfs
06-09
DataX是阿里巴巴开源的数据同步工具，它可以将多种数据源的数据导入到Hadoop生态圈中的HDFS、Hive、HBase等存储系统中。...以上就是使用DataX将MySQL数据导入HDFS的基本步骤，具体操作还需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值