datax数据迁移 --- hdfs到mysql

最新推荐文章于 2024-10-13 10:43:46 发布
最新推荐文章于 2024-10-13 10:43:46 发布
阅读量1.8k 收藏
点赞数
分类专栏： datax hadoop 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguanhaoyonghu/article/details/123724900
版权
本文介绍了使用DataX从HDFS迁移到MySQL的数据迁移过程，包括配置文件示例和执行日志。在迁移过程中，遇到了文件类型不明确导致的错误及中文乱码问题，通过指定数据类型和修改JDBC URL参数成功解决。迁移完成后，展示了MySQL中的数据验证。
摘要由CSDN通过智能技术生成

datax数据迁移

hdfs到mysql记录：

  • hdfsreaderTomysqlwriter.json
[root@slave1 mytemplate]# python /opt/datax/bin/datax.py -r hdfsreader -w mysqlwriter >> hdfsreaderTomysqlwriter.json
[root@slave1 mytemplate]# cat hdfsreaderTomysqlwriter.json
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "column": ["*"],
                        "hadoopConfig":{
                                                "dfs.client.failover.proxy.provider.mycluster":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
                                                "dfs.ha.namenodes.mycluster":"nn1,nn2",
                                                "dfs.namenode.rpc-address.mycluster.nn1":"leader:8020",
                                                "dfs.namenode.rpc-address.mycluster.nn2":"slave1:8020",
                                                "dfs.nameservices":"mycluster"
                                        },
                        "defaultFS": "hdfs://mycluster",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t",
                        "fileType": "text",
                        "path": "/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": ["stu_id","stu_age","stu_name"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://slave1:3306/javaAndBigdata?useUnicode=true&characterEncoding=utf-8",
                                "table": ["student"]
                            }
                        ],
                        "password": "javaAndBigdata",
                        "username": "root",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}
  • 执行脚本：hdfsreaderTomysqlwriter.json
[root@slave1 mytemplate]# python /opt/datax/bin/datax.py hdfsreaderTomysqlwriter.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2022-03-24 23:40:04.272 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2022-03-24 23:40:04.279 [main] INFO  Engine - the machine info  =>

        osInfo: Oracle Corporation 1.8 25.171-b11
        jvmInfo:        Linux amd64 3.10.0-1127.el7.x86_64
        cpu num:        2

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 256.00MB                       | 256.00MB
        Code Cache                     | 240.00MB                       | 2.44MB
        Compressed Class Space         | 1,024.00MB                     | 0.00MB
        PS Survivor Space              | 42.50MB                        | 42.50MB
        PS Old Gen                     | 683.00MB                       | 683.00MB
        Metaspace                      | -0.00MB                        | 0.00MB


2022-03-24 23:40:04.298 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"hdfsreader",
                                "parameter":{
                                        "column":[
                                                "*"
                                        ],
                                        "defaultFS":"hdfs://mycluster",
                                        "encoding":"UTF-8",
                                        "fieldDelimiter":"\t",
                                        "fileType":"text",
                                        "hadoopConfig":{
                                                "dfs.client.failover.proxy.provider.mycluster":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
                                                "dfs.ha.namenodes.mycluster":"nn1,nn2",
                                                "dfs.namenode.rpc-address.mycluster.nn1":"leader:8020",
                                                "dfs.namenode.rpc-address.mycluster.nn2":"slave1:8020",
                                                "dfs.nameservices":"mycluster"
                                        },
                                        "path":"/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064"
                                }
                        },
                        "writer":{
                                "name":"mysqlwriter",
                                "parameter":{
                                        "column":[
                                                "stu_id",
                                                "stu_age",
                                                "stu_name"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":"jdbc:mysql://slave1:3306/javaAndBigdata?useUnicode=true&characterEncoding=utf-8",
                                                        "table":[
                                                                "student"
                                                        ]
                                                }
                                        ],
                                        "password":"********",
                                        "username":"root",
                                        "writeMode":"insert"
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":"2"
                }
        }
}

2022-03-24 23:40:04.315 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2022-03-24 23:40:04.317 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2022-03-24 23:40:04.317 [main] INFO  JobContainer - DataX jobContainer starts job.
2022-03-24 23:40:04.319 [main] INFO  JobContainer - Set jobId = 0
2022-03-24 23:40:04.347 [job-0] INFO  HdfsReader$Job - init() begin...
2022-03-24 23:40:04.623 [job-0] INFO  HdfsReader$Job - hadoopConfig details:{"finalParameters":[]}
2022-03-24 23:40:04.623 [job-0] INFO  HdfsReader$Job - init() ok and end...
2022-03-24 23:40:04.932 [job-0] INFO  OriginalConfPretreatmentUtil - table:[student] all columns:[
stu_id,stu_age,stu_name
].
2022-03-24 23:40:04.940 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
insert INTO %s (stu_id,stu_age,stu_name) VALUES(?,?,?)
], which jdbcUrl like:[jdbc:mysql://slave1:3306/javaAndBigdata?useUnicode=true&characterEncoding=utf-8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
2022-03-24 23:40:04.941 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2022-03-24 23:40:04.941 [job-0] INFO  JobContainer - DataX Reader.Job [hdfsreader] do prepare work .
2022-03-24 23:40:04.941 [job-0] INFO  HdfsReader$Job - prepare(), start to getAllFiles...
2022-03-24 23:40:04.941 [job-0] INFO  HdfsReader$Job - get HDFS all files in path = [/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064]
三月 24, 2022 11:40:05 下午 org.apache.hadoop.util.NativeCodeLoader <clinit>
警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2022-03-24 23:40:05.760 [job-0] INFO  HdfsReader$Job - [hdfs://mycluster/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064]是[text]类型的文件, 将该文件加入source files列表
2022-03-24 23:40:05.761 [job-0] INFO  HdfsReader$Job - 您即将读取的文件数为: [1], 列表为: [hdfs://mycluster/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064]
2022-03-24 23:40:05.762 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2022-03-24 23:40:05.762 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2022-03-24 23:40:05.763 [job-0] INFO  JobContainer - Job set Channel-Number to 2 channels.
2022-03-24 23:40:05.763 [job-0] INFO  HdfsReader$Job - split() begin...
2022-03-24 23:40:05.763 [job-0] INFO  JobContainer - DataX Reader.Job [hdfsreader] splits to [1] tasks.
2022-03-24 23:40:05.764 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2022-03-24 23:40:05.774 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2022-03-24 23:40:05.778 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2022-03-24 23:40:05.780 [job-0] INFO  JobContainer - Running by standalone Mode.
2022-03-24 23:40:05.792 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2022-03-24 23:40:05.798 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2022-03-24 23:40:05.798 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2022-03-24 23:40:05.816 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2022-03-24 23:40:05.858 [0-0-0-reader] INFO  HdfsReader$Job - hadoopConfig details:{"finalParameters":["mapreduce.job.end-notification.max.retry.interval","mapreduce.job.end-notification.max.attempts"]}
2022-03-24 23:40:05.859 [0-0-0-reader] INFO  Reader$Task - read start
2022-03-24 23:40:05.860 [0-0-0-reader] INFO  Reader$Task - reading file : [hdfs://mycluster/datax/datas/firstStudent.csv__527c2cb7_7889_4ef3_a22b_6401e4d15064]
2022-03-24 23:40:05.879 [0-0-0-reader] INFO  UnstructuredStorageReaderUtil - CsvReader使用默认值[{"captureRawRecord":true,"columnCount":0,"comment":"#","currentRecord":-1,"delimiter":"\t","escapeMode":1,"headerCount":0,"rawRecord":"","recordDelimiter":"\u0000","safetySwitch":false,"skipEmptyRecords":true,"textQualifier":"\"","trimWhitespace":true,"useComments":false,"useTextQualifier":true,"values":[]}],csvReaderConfig值为[null]
2022-03-24 23:40:05.883 [0-0-0-reader] INFO  Reader$Task - end read source files...
2022-03-24 23:40:05.918 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[109]ms
2022-03-24 23:40:05.918 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2022-03-24 23:40:15.794 [job-0] INFO  StandAloneJobContainerCommunicator - Total 9 records, 38 bytes | Speed 3B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2022-03-24 23:40:15.795 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2022-03-24 23:40:15.795 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2022-03-24 23:40:15.795 [job-0] INFO  JobContainer - DataX Reader.Job [hdfsreader] do post work.
2022-03-24 23:40:15.795 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2022-03-24 23:40:15.796 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/datax/hook
2022-03-24 23:40:15.798 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 1                  | 1                  | 1                  | 0.032s             | 0.032s             | 0.032s
                 PS Scavenge          | 1                  | 1                  | 1                  | 0.028s             | 0.028s             | 0.028s

2022-03-24 23:40:15.798 [job-0] INFO  JobContainer - PerfTrace not enable!
2022-03-24 23:40:15.798 [job-0] INFO  StandAloneJobContainerCommunicator - Total 9 records, 38 bytes | Speed 3B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2022-03-24 23:40:15.801 [job-0] INFO  JobContainer -
任务启动时刻                    : 2022-03-24 23:40:04
任务结束时刻                    : 2022-03-24 23:40:15
任务总计耗时                    :                 11s
任务平均流量                    :                3B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   9
读写失败总数                    :                   0
  • 展示：
mysql> select * from javaAndBigdata.student;
Empty set (0.00 sec)

mysql> select * from javaAndBigdata.student;
+--------+---------+----------+
| stu_id | stu_age | stu_name |
+--------+---------+----------+
|      1 |       1 | ??       |
|      2 |       2 | ??       |
|      4 |       4 | ??       |
|      5 |       5 | ??       |
|      6 |       6 | ??       |
|      7 |       7 | ??       |
|      8 |       8 | ??       |
|      9 |       9 | ??       |
|     10 |      10 | ??       |
+--------+---------+----------+
9 rows in set (0.00 sec)

mysql> truncate table student;
Query OK, 0 rows affected (0.02 sec)

mysql> select * from javaAndBigdata.student;
Empty set (0.00 sec)

mysql> select * from javaAndBigdata.student;
+--------+---------+----------+
| stu_id | stu_age | stu_name |
+--------+---------+----------+
|      1 |       1 | 李毅     |
|      2 |       2 | 刘二     |
|      4 |       4 | 赵四     |
|      5 |       5 | 王五     |
|      6 |       6 | 赵六     |
|      7 |       7 | 田七     |
|      8 |       8 | 王八     |
|      9 |       9 | 流九     |
|     10 |      10 | 满十     |
+--------+---------+----------+
9 rows in set (0.00 sec)
  • 坑：
# error01:
 hdfs文件系统中不需要指明数据类型，如果一定要指定数据类型，要和index共用！
com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-06], Description:[没有 Index].  - 由于您配置了type, 则至少需要配置 index 或 value
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.plugin.reader.hdfsreader.HdfsReader$Job.validateColumns(HdfsReader.java:150)
        at com.alibaba.datax.plugin.reader.hdfsreader.HdfsReader$Job.validate(HdfsReader.java:111)
        at com.alibaba.datax.plugin.reader.hdfsreader.HdfsReader$Job.init(HdfsReader.java:50)
        at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673)
        at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303)
        at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)
        at com.alibaba.datax.core.Engine.start(Engine.java:92)
        at com.alibaba.datax.core.Engine.entry(Engine.java:171)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

# error02:
mysql中的中文乱码！jdbcurl中指定utf-8即可解决问题！

mysql> select * from javaAndBigdata.student;
+--------+---------+----------+
| stu_id | stu_age | stu_name |
+--------+---------+----------+
|      1 |       1 | ??       |
|      2 |       2 | ??       |
|      4 |       4 | ??       |
|      5 |       5 | ??       |
|      6 |       6 | ??       |
|      7 |       7 | ??       |
|      8 |       8 | ??       |
|      9 |       9 | ??       |
|     10 |      10 | ??       |
+--------+---------+----------+
9 rows in set (0.00 sec)
  • 截图展示：
    在这里插入图片描述
    在这里插入图片描述
从零教你如何通过Sqoop把Hadoop HDFS上的数据同步数据到MySQL中（附带数据集，报错提示并修改）
qq_50975494的博客
06-10 2438
Sqoop同步数据到MySQL实验结果
datax--从hdfs分区表写入mysql分区字段为空
qq_46893497的博客
12-18 1453
从hdfs分区表写入mysql分区字段为空背景结果解决官网的按分区读取 背景 需要从hdfs将以月为分区的分区表中的数据全量推到mysql中 分区表的分区字段在hdfs上为目录形式，也就是说其实是假字段 我本来想的是把path直接配置成这种格式，datax会读取到分区目录，作为字段处理，毕竟我们直接从hive查询分区表，分区目录就是直接作为字段进行展示的。 "path": "/user/hive/warehouse/mytable01/* 28就是那个分区monthkey "column": [
使用DataX同步hive数据到MySQL
最新发布
青春不流名
10-13 594
1、组件环境
利用datax將hdfs上的文件導出到mysql
m0_37759590的博客
02-22 402
利用datax將hdfs上的文件導出到mysql
DataX配置hdfs到mysql一键脚本
qq_42417269的博客
07-06 754
datax将hdfs的数据导入到mysql中的一键脚本。
datax导数据工具，高性能的数据迁移工具
08-21
datax导数据工具，高性能的数据迁移工具
hdfs写入MySQL_用把数据从hdfs写入到mysql
weixin_42241168的博客
01-26 1097
sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。 在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想: 1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。 2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
datax数据迁移插件-db2reader
01-16
1. **数据迁移**: 将DB2数据库中的数据迁移到其他数据存储系统，如Hadoop HDFS、阿里云OSS、ECS自建MySQL等。 2. **数据同步**: 实时或定时同步DB2到大数据平台，用于数据分析、报表生成或实时监控。 3. **数据备份*...
datax-web-2.1.2.zip
08-14
首先，DataX 是阿里巴巴开源的离线数据同步工具，支持多种数据源之间的数据迁移，包括但不限于 MySQL、Oracle、HDFS、HBase、ADS 等。DataX Web 是 DataX 的Web版本，它将原本需要编写配置文件的任务转换为直观的...
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
DataX支持众多数据源，如MySQL、Oracle、HDFS、Redis等，几乎涵盖了所有的主流数据库和大数据存储系统。 在ETL过程中，DataX扮演着关键角色。提取（Extract）阶段，DataX通过Reader插件从源数据存储中读取数据；...
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步
05-29
总结来说，DataX作为一款强大的ETL工具，能够方便地实现MySQL数据库与其他数据源之间的数据同步，包括MySQL到MySQL、MySQL到HDFS以及HDFS到MySQL，这在大数据环境下的数据整合、迁移和备份等场景中具有广泛的应用...
12.2.datax hdfs数据写入mysql
kk25114的博客
07-31 796
同16 编辑后的模板 { "job": { "content": [ { "reader": { "name": "hdfsreader", "parameter": { "column...
dolphinscheduler调度datax脚本执行错误原因（我见）
Linmeng001的博客
10-13 1830
dolphin调度datax，io问题
dataX报错com.alibaba.datax.common.exception.DataXException: Code:[Framework-14]Description:[DataX传输脏数据
weixin_59295776的博客
07-25 2329
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[6]条.解决方案：将json文件中不匹配的int类型变更更为dataX支持的long类型即可。
2022-10-09 17:50:17.215 [job-0] ERROR HdfsWriter$Job - 判断文件路径[message:filePath =/data/ods/ods_bms_us
默主归沙的博客
10-09 1267
其实就是hdfs路径问题。在企业中经常会搞高可用模式，如果datax的json设置的是nn01为路径，那如果nn02变成主节点，那就会路径失败。nn01和nn02都是高可用主机的别名（我是在生产环境中找的别名）namenode的active和standby模式的切换。从nn01的standby切换为active。从nn02的active切换为standby。在datax导入到hive中，会有这种报错。查看高可用的是否为主节点状态。
datax安装使用及使用过程中遇到的问题
热门推荐
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
DataX报错解决办法 - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
12-20 1万+
报错如下： com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数 at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXE
使用DataX将将数据从Hive同步到MySQL报错 获取表字段相关信息失败.]
wufabao的博客
05-29 5488
报错内容 经DataX智能分析,该任务最可能的错误原因是: com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-01], Description:[获取表字段相关信息失败.]. - 获取表:test 的字段的元信息时失败. 请联系 DBA 核查该库、表信息. - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘c
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值