离线数仓(4) 使用dataX全量同步业务表(脚本实现mysql_to_hdfs)

最新推荐文章于 2024-02-21 21:29:00 发布
最新推荐文章于 2024-02-21 21:29:00 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： # 数仓 文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44665283/article/details/124424633
版权

dataX的基本使用可以参考：离线数仓（2）DataX的使用详解

DataX配置文件批量生成脚本

# coding=utf-8
import json
import getopt
import os
import sys
import MySQLdb

#MySQL相关配置，需根据实际情况作出修改
mysql_host = "server15"
mysql_port = "3306"
mysql_user = "root"
mysql_passwd = "root"

#HDFS NameNode相关配置，需根据实际情况作出修改
hdfs_nn_host = "server16"
hdfs_nn_port = "8020"

#生成配置文件的目标路径，可根据实际情况作出修改
output_path = "/opt/yyds/apps/datax/job/import"

#获取mysql连接
def get_connection():
    return MySQLdb.connect(host=mysql_host, port=int(mysql_port), user=mysql_user, passwd=mysql_passwd)

#获取表格的元数据  包含列名和数据类型
def get_mysql_meta(database, table):
    connection = get_connection()
    cursor = connection.cursor()
    sql = "SELECT COLUMN_NAME,DATA_TYPE from information_schema.COLUMNS WHERE TABLE_SCHEMA=%s AND TABLE_NAME=%s ORDER BY ORDINAL_POSITION"
    cursor.execute(sql, [database, table])
    fetchall = cursor.fetchall()
    cursor.close()
    connection.close()
    return fetchall

#获取mysql表的列名
def get_mysql_columns(database, table):
    return map(lambda x: x[0], get_mysql_meta(database, table))

#将获取的元数据中mysql的数据类型转换为hive的数据类型  写入到hdfswriter中
def get_hive_columns(database, table):
    def type_mapping(mysql_type):
        mappings = {
            "bigint": "bigint",
            "int": "bigint",
            "smallint": "bigint",
            "tinyint": "bigint",
            "decimal": "string",
            "double": "double",
            "float": "float",
            "binary": "string",
            "char": "string",
            "varchar": "string",
            "datetime": "string",
            "time": "string",
            "timestamp": "string",
            "date": "string",
            "text": "string"
        }
        return mappings[mysql_type]

    meta = get_mysql_meta(database, table)
    return map(lambda x: {"name": x[0], "type": type_mapping(x[1].lower())}, meta)

#生成json文件
def generate_json(source_database, source_table):
    job = {
        "job": {
            "setting": {
                "speed": {
                    "channel": 3
                },
                "errorLimit": {
                    "record": 0,
                    "percentage": 0.02
                }
            },
            "content": [{
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": mysql_user,
                        "password": mysql_passwd,
                        "column": get_mysql_columns(source_database, source_table),
                        "splitPk": "",
                        "connection": [{
                            "table": [source_table],
                            "jdbcUrl": ["jdbc:mysql://" + mysql_host + ":" + mysql_port + "/" + source_database]
                        }]
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://" + hdfs_nn_host + ":" + hdfs_nn_port,
                        "fileType": "text",
                        "path": "${targetdir}",
                        "fileName": source_table,
                        "column": get_hive_columns(source_database, source_table),
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        "compress": "gzip"
                    }
                }
            }]
        }
    }
    if not os.path.exists(output_path):
        os.makedirs(output_path)
    with open(os.path.join(output_path, ".".join([source_database, source_table, "json"])), "w") as f:
        json.dump(job, f)


def main(args):
    source_database = ""
    source_table = ""

    options, arguments = getopt.getopt(args, '-d:-t:', ['sourcedb=', 'sourcetbl='])
    for opt_name, opt_value in options:
        if opt_name in ('-d', '--sourcedb'):
            source_database = opt_value
        if opt_name in ('-t', '--sourcetbl'):
            source_table = opt_value

    generate_json(source_database, source_table)


if __name__ == '__main__':
    main(sys.argv[1:])

使用该脚本

-- 使用脚本文件，生成datax的配置文件
[root@server16 run_sh]# python gen_import_config.py -d gmall2022 -t activity_info
-- 结果
[root@server16 import]# pwd
/opt/yyds/apps/datax/job/import
[root@server16 import]# ll
total 4
-rw-r--r-- 1 root root 961 Apr 26 10:54 gmall2022.activity_info.json


-- hdfs上创建文件夹
[root@server16 ~]# hdfs dfs -mkdir -p /origin_data/gmall2022/db/activity_info_full/2020-06-14

-- 执行命令
python /opt/yyds/apps/datax/bin/datax.py -p"-Dtargetdir=/origin_data/gmall2022/db/activity_info_full/2020-06-14" /opt/yyds/apps/datax/job/import/gmall2022.activity_info.json

使用脚本批量同步全量数据(gen_import_config.sh)

#!/bin/bash

python gen_import_config.py -d gmall2022 -t activity_info
python gen_import_config.py -d gmall2022 -t activity_rule
python gen_import_config.py -d gmall2022 -t base_category1
python gen_import_config.py -d gmall2022 -t base_category2
python gen_import_config.py -d gmall2022 -t base_category3
python gen_import_config.py -d gmall2022 -t base_dic
python gen_import_config.py -d gmall2022 -t base_province
python gen_import_config.py -d gmall2022 -t base_region
python gen_import_config.py -d gmall2022 -t base_trademark
python gen_import_config.py -d gmall2022 -t cart_info
python gen_import_config.py -d gmall2022 -t coupon_info
python gen_import_config.py -d gmall2022 -t sku_attr_value
python gen_import_config.py -d gmall2022 -t sku_info
python gen_import_config.py -d gmall2022 -t sku_sale_attr_value
python gen_import_config.py -d gmall2022 -t spu_info

创建mysql_to_hdfs_full.sh

#!/bin/bash

DATAX_HOME=/opt/yyds/apps/datax

# 如果传入日期则do_date等于传入的日期，否则等于前一天日期
if [ -n "$2" ] ;then
    do_date=$2
else
    do_date=`date -d "-1 day" +%F`
fi

#处理目标路径，此处的处理逻辑是，如果目标路径不存在，则创建；若存在，则清空，目的是保证同步任务可重复执行
handle_targetdir() {
  hadoop fs -test -e $1
  if [[ $? -eq 1 ]]; then
    echo "路径$1不存在，正在创建......"
    hadoop fs -mkdir -p $1
  else
    echo "路径$1已经存在"
    fs_count=$(hadoop fs -count $1)
    content_size=$(echo $fs_count | awk '{print $3}')
    if [[ $content_size -eq 0 ]]; then
      echo "路径$1为空"
    else
      echo "路径$1不为空，正在清空......"
      hadoop fs -rm -r -f $1/*
    fi
  fi
}

#数据同步
import_data() {
  datax_config=$1
  target_dir=$2

  handle_targetdir $target_dir
  python $DATAX_HOME/bin/datax.py -p"-Dtargetdir=$target_dir" $datax_config
}

case $1 in
"activity_info")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.activity_info.json /origin_data/gmall2022/db/activity_info_full/$do_date
  ;;
"activity_rule")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.activity_rule.json /origin_data/gmall2022/db/activity_rule_full/$do_date
  ;;
"base_category1")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category1.json /origin_data/gmall2022/db/base_category1_full/$do_date
  ;;
"base_category2")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category2.json /origin_data/gmall2022/db/base_category2_full/$do_date
  ;;
"base_category3")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category3.json /origin_data/gmall2022/db/base_category3_full/$do_date
  ;;
"base_dic")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_dic.json /origin_data/gmall2022/db/base_dic_full/$do_date
  ;;
"base_province")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_province.json /origin_data/gmall2022/db/base_province_full/$do_date
  ;;
"base_region")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_region.json /origin_data/gmall2022/db/base_region_full/$do_date
  ;;
"base_trademark")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_trademark.json /origin_data/gmall2022/db/base_trademark_full/$do_date
  ;;
"cart_info")
  import_data /opt/module/datax/job/import/gmall2022.cart_info.json /origin_data/gmall2022/db/cart_info_full/$do_date
  ;;
"coupon_info")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.coupon_info.json /origin_data/gmall2022/db/coupon_info_full/$do_date
  ;;
"sku_attr_value")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_attr_value.json /origin_data/gmall2022/db/sku_attr_value_full/$do_date
  ;;
"sku_info")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_info.json /origin_data/gmall2022/db/sku_info_full/$do_date
  ;;
"sku_sale_attr_value")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_sale_attr_value.json /origin_data/gmall2022/db/sku_sale_attr_value_full/$do_date
  ;;
"spu_info")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.spu_info.json /origin_data/gmall2022/db/spu_info_full/$do_date
  ;;
"all")
  import_data /opt/yyds/apps/datax/job/import/gmall2022.activity_info.json /origin_data/gmall2022/db/activity_info_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.activity_rule.json /origin_data/gmall2022/db/activity_rule_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category1.json /origin_data/gmall2022/db/base_category1_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category2.json /origin_data/gmall2022/db/base_category2_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_category3.json /origin_data/gmall2022/db/base_category3_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_dic.json /origin_data/gmall2022/db/base_dic_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_province.json /origin_data/gmall2022/db/base_province_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_region.json /origin_data/gmall2022/db/base_region_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.base_trademark.json /origin_data/gmall2022/db/base_trademark_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.cart_info.json /origin_data/gmall2022/db/cart_info_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.coupon_info.json /origin_data/gmall2022/db/coupon_info_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_attr_value.json /origin_data/gmall2022/db/sku_attr_value_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_info.json /origin_data/gmall2022/db/sku_info_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.sku_sale_attr_value.json /origin_data/gmall2022/db/sku_sale_attr_value_full/$do_date
  import_data /opt/yyds/apps/datax/job/import/gmall2022.spu_info.json /origin_data/gmall2022/db/spu_info_full/$do_date
  ;;
esac
undo_try
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
1.2 DataX 数据同步工具详细教程
在路上的专栏
06-22 1235
DataX 是由阿里巴巴开源的一款异构数据源离线同步工具。DataX 旨在实现包括关系型数据库（如 MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间的稳定高效的数据同步功能。它通过简化数据同步流程，将复杂的网状同步链路转变为星型数据链路，DataX 作为中间传输载体负责连接各种数据源。
linux之datax部分笔记
weixin_51591544的博客
12-07 727
1) 2)自动创建hive表 3） 4）运行 python /root/datax/bin/datax.py /root/datax/job/log.json 自动化数据采集 1）先准备mysql数据 直接导入即可 2）创建hive表，格式匹配上，表名也需要匹配上 3）修改datax的配置文件 a）先配置成功json文件，测试能够将20200901的数据导入hive表 b）开始写脚本，实现执行这个脚本，执行一次会自动导入0902的数据，再执行一次会自动导入0903的数据 测试： 现状
DataX优化
ZYN的博客
01-11 2628
1、速度控制 ​ DataX3.0提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在数据库可以承受的范围内达到最佳的同步速度。 关键优化参数如下： 参数 说明 job.setting.speed.channel 总并发数 job.setting.speed.record 总record限速 job.setting.speed.byte 总byte限速 core.transport.channel.speed.record 单个channe
sqoop/datax+hive+dolphinscheduler
csdn_gyb的博客
08-26 1326
sqoop/datax+hive+dolphinscheduler
Datax实现异构数据库全量同步和增量同步
m0_66425707的博客
07-07 4769
一定要避免全量同步，要根据字段进行增量更新多个任务要写多个脚本，但是都能集成到同一个bat脚本里启动其他数据库同步都大差不差。
DataX把mysql数据导入rpdsql(mysql)
weixin_43084715的博客
04-28 846
首先，在MySQL中准备数据，以lineitem表为例。然后通过DataX将MySQL库中的lineitem表中的数据，迁移到RapidsDB的表lineitem中。 1、在mysql创建lineitem表 CREATE TABLE `lineitem` ( `l_orderkey` bigint(11) NOT NULL, `l_partkey` int(11) NOT NULL, `l_suppkey` int(11) NOT NULL, `l_linenumber` int(11
基于 DataX 开发的快速同步 MySQL 数据至 HDFS 上的工具.zip
03-20
在“DataX_MySQL_To_HDFS_Helper-master”这个压缩包文件中，我们可以推断这包含了一个名为 DataX_MySQL_To_HDFS_Helper 的项目源代码，可能包含了以下组成部分： 1. **DataX 插件**：为 MySQL 和 HDFS 定制的 ...
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步
05-29
《DataX实现MySQL与HDFS之间的数据同步》 在大数据处理和分析的场景中，数据的迁移和同步是一项基础且重要的任务。DataX是阿里巴巴开源的一款高效、稳定、强大的数据同步工具，支持多种数据源之间的数据迁移。本文...
Mysql到hdfs全量同步实验手册.pdf
12-23
4. **运行JSON文件**：通过DataX的Python脚本`datax.py`执行同步任务，如`python datax.py {your_json_address}/mysql_to_hdfs.json`。 5. **验证结果**：在HDFS中检查同步结果，可以使用Hadoop命令进行文件操作，如...
Hdfs到Mysql全量同步实验手册.pdf
12-23
学习并掌握如何使用DataX将HDFS中的数据全量同步至MySQL数据库。这在大数据处理中十分常见，例如日志分析、数据仓库构建等场景，需要实时或定期地将非结构化或半结构化的HDFS数据导入到结构化的关系型数据库中。 3...
大数据项目之线上问诊离线数仓2023年 视频教程 下载因为太大存百度云盘4.zip
最新发布
06-23
155-将数据从hdfs导入到mysql演示.mp4 156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 160-安装dolphinscheduler.mp4 161-安全中心...
Apache DolphinScheduler——开源大数据调度器神器（国人之光）
男神的专栏
05-31 9181
本文已参与「新人创作礼」活动，一起开启掘金创作之路。
第二章 数据迁移之Dolphinscheduler调度DataX从Mysql全量导入Hive
qq_27924553的博客
12-07 7098
Dolphinscheduler调度DataX从Mysql全量导入Hive
使用Datax 完整迁移sqlserver至mysql，附自动化脚本和日志分析
qq_40267975的博客
02-03 1728
本次数据迁移涉及表达到亿级数据，只是时间上不是很友好，如果服务器允许多开线程可以提高些许速度。
使用datax实时实现数据同步
弥生的博客
06-07 1885
【代码】使用datax实时实现数据同步。
DATAX脚本编写例子
m0_48645585的博客
09-28 1627
datax一些基础脚本，模板
DataX&数据同步（全量）
qq_41246557的博客
01-15 2733
DataX（Data Exchange）是阿里巴巴集团开源的一款通用数据同步工具，用于实现不同数据存储系统之间的数据传输和同步。它支持多种数据源和目标，包括关系型数据库、NoSQL 数据库、Hadoop 等。
DataX - 全量数据同步工具
功不唐捐，玉汝于成
02-21 1963
DataX 全量数据同步工具
大数据-数仓-数据采集-业务数据（一）：全量同步（DataX、Sqoop） v.s. 增量同步（Maxwell、Canal）
u013250861的博客
04-09 1717
1.种类繁多的数据同步工具中，大致可以分为两大类：① 基于Select查询的离线、批量同步工具，代表：DataX、Sqoop；② 基于数据库数据变更日志（mysql的binlog）的实时流式同步工具，代表：Maxwell、Canal；同步类型DataX、SqoopMaxwell、Canal全量同步Ö增量同步ÖÖ3.同步工具之间对增量同步不同方案的对比对比增量同步方案DataX、SqoopMaxwell、Canal对数据库的要求。
datax数据迁移脚本 MySQL到hive
06-06
好的，我可以为您提供一些关于使用DataX进行MySQL到Hive数据迁移的指导。 首先，您需要安装DataX并配置好环境。然后，您需要编写一个DataX任务配置文件，以指定源和目标数据源的详细信息。 以下是一个简单的MySQL到Hive的DataX任务配置文件示例： ``` { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "your_mysql_username", "password": "your_mysql_password", "column": [ "column1", "column2", "column3" ], "connection": [ { "jdbcUrl": "jdbc:mysql://your_mysql_server:3306/your_mysql_database", "table": [ "your_mysql_table" ] } ] } }, "writer": { "name": "hdfswriter", "parameter": { "defaultFS": "hdfs://your_hdfs_server:9000", "fileType": "text", "path": "/your_hdfs_path", "fileName": "your_hdfs_file_name", "fieldDelimiter": "\t", "writeMode": "append", "column": [ "column1", "column2", "column3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 在上面的配置文件中，您需要将以下信息进行替换： - `your_mysql_username`：MySQL数据库的用户名。 - `your_mysql_password`：MySQL数据库的密码。 - `your_mysql_server`：MySQL数据库的服务器地址。 - `your_mysql_database`：MySQL数据库的名称。 - `your_mysql_table`：要迁移的MySQL表的名称。 - `your_hdfs_server`：HDFS服务器的地址。 - `your_hdfs_path`：HDFS中要写入数据的路径。 - `your_hdfs_file_name`：在HDFS中要写入的文件名。 - `column1`，`column2`和`column3`：要迁移的列名称。 完成配置文件后，您可以使用以下命令来执行DataX任务： ``` python datax.py your_job_config.json ``` 这将启动DataX并开始将MySQL表中的数据传输到Hive表中。 希望这可以帮助您进行MySQL到Hive的数据迁移。如果您有任何其他问题，请随时问我。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值