datax小模板

最新推荐文章于 2024-08-10 13:32:35 发布

BackToMeNow

最新推荐文章于 2024-08-10 13:32:35 发布

阅读量527

点赞数

分类专栏：大数据学习文章标签： datax 模板

本文不知道博主是从哪里乱看来的，请随意转载 QQ:772604175

本文链接：https://blog.csdn.net/qq_36525906/article/details/101109452

版权

本文详细介绍了如何使用DataX进行数据迁移，包括从MySQL到HDFS、从MySQL到Hive以及从Hive回迁到MySQL的操作步骤，帮助理解DataX在大数据场景下的应用。

摘要由CSDN通过智能技术生成

从mysql到hdfs

{
   
    "job": {
   
        "content": [
            {
   
                "reader": {
   
                    "name": "mysqlreader",
                    "parameter": {
   
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
   
                                "jdbcUrl": [
                                    "jdbc:mysql://192.xxx.x.x(数据库地址):3306（数据库端口）/data（数据库名称）"
                                ],
                                "table": [
                                    "tb_sensorstate"
                                ]
                            }
                        ],
                        "password": "hivedb",
                        "username": "xxxxx"
                    }
                },
                "writer": {
   
                    "name": "hdfswriter",
                    "parameter": {
   
                        "column": [
                            {
   
                                "name": "id",
                                "type": "BIGINT"
                            },
                            {
   
                                "name"