Datax导入数据到Hive

最新推荐文章于 2024-08-09 11:14:25 发布

工作变成艺术

最新推荐文章于 2024-08-09 11:14:25 发布

阅读量744

点赞数

分类专栏： ETL 文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/S1124654/article/details/129128484

版权

ETL 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

文章介绍了使用DataX，阿里云DataWorks数据集成的开源版本，执行每日脚本来从HDFS读取ORC格式数据，并通过配置文件test.json将数据插入到MySQL的流程。配置文件详细定义了读者（HdfsReader）和写入者（MysqlWriter）的参数，包括文件路径、数据库连接信息等。

摘要由CSDN通过智能技术生成

Datax官网

GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

每日脚本

#!/bin/bash
do_date=`date -d '-1 day' +%F`
/home/bigdata/module/datax/bin/datax.py  -p "-Dday=${do_date}"  test.json

配置文件test.json

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/user/hive/bigdata/default/表/load_date=$day/*",
                        "defaultFS": "hdfs://master:8020",
                        "column": [
                               {
                                "index": 0,
                                "type": "string"
                               }
                        ],
                        "fileType": "orc",
                        "encoding": "UTF-8"
                    }

                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "账号",
                        "password": "密码",
                        "column": [
                            "mysql字段"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://ip:端口/库名?useSSL=true&useUnicode=true&characterEncoding=utf8",
                                "table": [
                                    "mysql对应的表名"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}