datax 模板_DataX安装及基本使用视频教程

最新推荐文章于 2024-08-14 15:06:38 发布
最新推荐文章于 2024-08-14 15:06:38 发布
阅读量620 收藏
点赞数
文章标签： datax 模板
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30896727/article/details/112352903
版权

676bb8c559665e8503c1521fc4f5a4d1.gifd2df8609b79b99dec24be4f8bd6be73c.gif

 你再主动一点点 ad83783f7ff8d5559f7923ade7a9c6dd.gif  我们就有故事了

视频教程

图文教程

前置准备

这里我们演示 MySQL 和 HDFS 之间的数据导入导出，需要预先安装 Hadoop集群。Hadoop 集群的安装教程如下：

Linux下jdk的安装

Linux下Python的安装-视频教程

Hadoop单机伪分布式-视频教程

Hadoop完全分布式集群环境搭建-视频教程

HA(高可用)-Hadoop集群环境搭建视频+图文教程

一、DataX 概述

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

b80c54ffed46f826351061a0d7920747.png

二、安装

2.1 下载并解压

源码地址：https://github.com/alibaba/DataX

这里我下载的是最新版本的 DataX3.0 。下载地址为：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 

# 下载后进行解压
[xiaokang@hadoop ~]$ tar -zxvf datax.tar.gz -C /opt/software/

2.2 运行自检脚本

[xiaokang@hadoop ~]$ cd /opt/software/datax/
[xiaokang@hadoop datax]$ bin/datax.py job/job.json

出现以下界面说明DataX安装成功

644ec52abbc8b9684bdeeb711ee99c70.png

三、基本使用

3.1 从stream读取数据并打印到控制台

1. 查看官方json配置模板
[xiaokang@hadoop ~]$ python /opt/software/datax/bin/datax.py -r streamreader -w streamwriter

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the streamreader document:
     https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md 

Please refer to the streamwriter document:
     https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md 

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json 
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader", 
                    "parameter": {
                        "column": [], 
                        "sliceRecordCount": ""
                    }
                }, 
                "writer": {
                    "name": "streamwriter", 
                    "parameter": {
                        "encoding": "", 
                        "print": true
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}
2. 根据模板编写json文件
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader", 
                    "parameter": {
                        "column": [
                            {
                                "type":"string",
                                "value":"xiaokang-微信公众号:小康新鲜事儿"
                            },
                            {
                                "type":"string",
                                "value":"你好，世界-DataX"
                            }
                        ], 
                        "sliceRecordCount": "10"
                    }
                }, 
                "writer": {
                    "name": "streamwriter", 
                    "parameter": {
                        "encoding": "utf-8", 
                        "print": true
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}
3. 运行Job
[xiaokang@hadoop json]$ /opt/software/datax/bin/datax.py ./stream2stream.json

6519f40fa7500a9b7e853f376d60c97a.png

3.2 MySQL数据导入到HDFS

示例：导出 MySQL 数据库中的 help_keyword 表到 HDFS 的 /datax目录下(此目录必须提前创建)。

注：help_keyword 是 MySQL 内置的一张字典表，之后的示例均使用这张表。

1. 查看官方json配置模板
[xiaokang@hadoop json]$ python /opt/software/datax/bin/datax.py -r mysqlreader -w hdfswriter

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the mysqlreader document:
     https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md 

Please refer to the hdfswriter document:
     https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md 

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json 
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [], 
                        "connection": [
                            {
                                "jdbcUrl": [], 
                                "table": []
                            }
                        ], 
                        "password": "", 
                        "username": "", 
                        "where": ""
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [], 
                        "compress": "", 
                        "defaultFS": "", 
                        "fieldDelimiter": "", 
                        "fileName": "", 
                        "fileType": "", 
                        "path": "", 
                        "writeMode": ""
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}
2. 根据模板编写json文件

mysqlreader参数解析：

7a3bc28def09c8e75cee6e03aa48bad8.png

hdfswriter参数解析：

cda54fb63cd473d0b73cc3475b59fcda.png

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
                            "help_keyword_id",
                            "name"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.1.106:3306/mysql"
                                ], 
                                "table": [
                                    "help_keyword"
                                ]
                            }
                        ], 
                        "password": "xiaokang", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
                            {
                                "name":"help_keyword_id",
                                "type":"int"
                            },
                            {
                                "name":"name",
                                "type":"string"
                            }
                        ], 
                        "defaultFS": "hdfs://hadoop:9000", 
                        "fieldDelimiter": "|", 
                        "fileName": "keyword.txt", 
                        "fileType": "text", 
                        "path": "/datax", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "3"
            }
        }
    }
}
3. 运行Job
[xiaokang@hadoop json]$ /opt/software/datax/bin/datax.py ./mysql2hdfs.json

3.3 HDFS数据导出到MySQL

1. 将3.2中导入的文件重命名并在数据库创建表
[xiaokang@hadoop ~]$ hdfs dfs -mv /datax/keyword.txt__4c0e0d04_e503_437a_a1e3_49db49cbaaed /datax/keyword.txt

表必须预先创建，建表语句如下：

CREATE TABLE help_keyword_from_hdfs_datax LIKE help_keyword;
2. 查看官方json配置模板
[xiaokang@hadoop json]$ python /opt/software/datax/bin/datax.py -r hdfsreader -w mysqlwriter

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the hdfsreader document:
     https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md 

Please refer to the mysqlwriter document:
     https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md 

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json 
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader", 
                    "parameter": {
                        "column": [], 
                        "defaultFS": "", 
                        "encoding": "UTF-8", 
                        "fieldDelimiter": ",", 
                        "fileType": "orc", 
                        "path": ""
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [], 
                        "connection": [
                            {
                                "jdbcUrl": "", 
                                "table": []
                            }
                        ], 
                        "password": "", 
                        "preSql": [], 
                        "session": [], 
                        "username": "", 
                        "writeMode": ""
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}
3. 根据模板编写json文件
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader", 
                    "parameter": {
                        "column": [
                            "*"
                        ], 
                        "defaultFS": "hdfs://hadoop:9000", 
                        "encoding": "UTF-8", 
                        "fieldDelimiter": "|", 
                        "fileType": "text", 
                        "path": "/datax/keyword.txt"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "help_keyword_id",
                            "name"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://192.168.1.106:3306/mysql", 
                                "table": ["help_keyword_from_hdfs_datax"]
                            }
                        ], 
                        "password": "xiaokang",  
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "3"
            }
        }
    }
}
3. 运行Job
[xiaokang@hadoop json]$ /opt/software/datax/bin/datax.py ./hdfs2mysql.json

2edfae786147b9a836ba26e8e0464999.png

如果这篇文章对你有帮助的话，就顺手点个在看，支持一下叭24932a12e9eeef64aaa2b800a21d3049.png24932a12e9eeef64aaa2b800a21d3049.png感谢各位！


点击下面“王卡免流”查看黑科技

cd1fcb92de383470c74d9aa8d088906c.png

王卡免流

26357b32c8c8e34416397586c4d3b574.png

自己动手，丰衣足食

点击下方“留言墙”给小康留言
cd1fcb92de383470c74d9aa8d088906c.png

留言墙

26357b32c8c8e34416397586c4d3b574.png

688b4149ff0fedc1470fa1f7f0fe83b9.gif

通吃岛岛主
关注
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3595
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
datax 模板_datax模板
weixin_39782752的博客
12-21 719
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1. mysql2mysql.json{"job": {"setting": {"speed": {"channel": 1}},"content": [{"reader": {"name": "mysqlr...
【转】dataX简介
hero_xsx的博客
10-29 727
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
DataX教程（二）
最新发布
weixin_37605393的博客
08-14 986
DataX-Web 使用界面操作数据同步
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
第十一章：DataX数据采集工具-CSDN就业班-专题视频课程
weixin_40253797的博客
10-24 917
1.DataX介绍 2.DataX原理与架构 3.DataX部署 4.DataX数据导入导出练习 5.DataX生产环境常见问题说明
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 DataX 同步其他数据源的数据到 Doris 中。(https://doris.apache.org/zh-CN/docs/ecosystem/datax?_highlight=datax#%E5%85%B3%E4%BA%8E-datax) DataX Web是在DataX之上开发的...
datax 模板_datax安装（Windows版）
weixin_39575737的博客
01-13 390
一、安装datax将其解压即可。二、测试安装是否成功1,打开cmd界面(同时按下Windows键+R键)2,输入CHCP 65001 防止中文乱码3，跳转到datax的bin目录下命令行：d:cdD:\BigDataTools\datax\datax\bin4,查看模板命令行：python datax.py -r streamreader -w streamwriter5，使用datax首先我...
datax 模板_datax实战
weixin_39902085的博客
12-21 518
一、全量同步1.简单字段同步本文以mysql -> mysql为示例：本次测试的表为mysql的系统库-sakila中的actor表，由于不支持目的端自动建表，此处预先建立目的表：CREATE TABLE`actor_copy` (`actor_id`smallint(5) unsigned NOT NULLAUTO_INCREMENT,`first_name`varchar(45) NOT...
datax 模板_Datax官方笔记总结
weixin_39604598的博客
12-21 298
#DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理...
DATAX安装与开发
07-31
在Linux系统 下DATAX安装所需环境以及安装步骤，讲解详细，有开发实例！
dataX3.0安装使用手册.docx
10-19
dataX3.0安装使用手册 dataX3.0安装使用手册 dataX3.0安装使用手册
大数据 DataX 详细安装教程
Stars.Sky 的博客
10-16 6099
大数据 DataX 详细安装教程
可视化工具Datax-web使用教程
xiao_ying_bo_ke的博客
04-15 2345
Datax web 使用教程
datax入门（datax的安装与简单使用）——01
@素素~的博客
06-27 1564
datax入门（datax的安装与简单使用）——01
DataX使用入门
mynameisjinxiaokai的博客
01-17 3150
DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。下载对应的MySQL驱动版本：https://static.runoob.com/download/mysql-connector-java-8.0.16.jar。方法二、下载DataX源码，自己编译：DataX源码。
DataX 自学使用
ZQHCSD的博客
07-29 1006
DataX是阿里巴巴开源的一个异构数据源离线同步工具。ttps。
DataX的简单使用
Nortyr的博客
03-28 498
Datax ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将资料从来源端经过抽取（extract）、转置（transform）、加载（load）至目的端的过程。 DataX介绍 DataX是阿里云开源的一款离线数据同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 环境准备 JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apach
DataX：异构数据交换神器 - 安装与使用教程
为了更好地理解和使用DataX，用户需要参考《DataX插件开发指南》，这将指导开发者如何创建自己的定制插件，以适应特定的数据库和文件系统，进一步增强DataX的功能和适用范围。DataX是一个强大而易用的工具，对于数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值