DataX踩坑

最新推荐文章于 2023-11-28 17:43:41 发布
最新推荐文章于 2023-11-28 17:43:41 发布
阅读量1.4k 收藏
点赞数
分类专栏： 报错分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Answer2333333/article/details/103120007
版权

踩坑一：

com.alibaba.fastjson.JSONObject cannot be cast to java.util.List

解决方法

将数据库等表信息不是用List格式表示的

GGSTU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
datax 学习记录
zhuyin365的博客
03-22 1148
datax 学习到应用
doriswriter-datax
05-31
datax 含有doriswriter以及jobjson
java调用shell向DataX传递参数，where条件，包含特殊字符
04-10
java调用shell向DataX传递参数，where条件，包含特殊字符。java调用shell向DataX传递参数，where条件，包含特殊字符
datax工具介绍及简单使用
qq_49001678的博客
09-09 922
Datax是一个异构数据源离线同步工具，致力于实现包括关系数据库、HDFS、Hive、ODPS、Hbase等各种异构数据源之间稳定高效的数据同步功能为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步；DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已 持续稳定运行了7年之久。
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！
zhangzhensea的专栏
03-09 1268
阿里数据库备份工具
datax(27):不太常见配置项querySql、preSql、postSql、splitPk
热门推荐
water Wang
02-02 6万+
每个datax的json都有自己的json配置文档，基本大同小异，有几个配置较为少用，但是用了之后，真香~ 一、querySql 1、使用教程 描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on tabl.
DataX的任务配置文件结构和参数说明
最新发布
互联网知识分享
11-28 1069
以上配置文件描述了一个将mysql数据源中的user表中id大于100的数据同步到mysql数据目标的user_copy表中的任务。其中，读取和写入的列名、连接信息、表名都已经配置好，同时还配置了数据过滤条件、写入前后需要执行的SQL语句等。它是一个JSON格式的文件，包含了任务的各种配置信息，例如数据源、数据目标、数据同步方式、数据过滤等等。writer.parameter：数据目标的详细配置信息，包括连接信息、表信息、列信息等。column：需要写入的列名，可以是一个数组。
java调用shell向DataX传参，带where条件，特殊字符
08-16
java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；
DataX使用示例
liang_336的博客
04-16 2975
DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 关于原理及优缺点，知乎上有博主描述：https://zhuanlan.zhihu.com/p/81817787 笔者比较赞同 阿里相关文档地址：https://github.com/alibaba/DataX ...
DataX使用总结
weixin_42050545的博客
06-27 8729
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github，地址：https://github.com/alibaba/DataX。 DataX安装部署 ...
dataX数据同步
yabin1016的博客
05-24 482
dataX linux环境部署： 1 参考文章： https://blog.csdn.net/Titanium_LL/article/details/100859499 2 环境参数：centos7 3 crontab定时任务参考https://www.pianshen.com/article/8309173488/ crontab不执行报错解决： 解决 sh: java: command not found 问题 在执行脚本上加入如下配置即可 #!/bin/bash JAV...
Datax支持clickhouse
08-05
Python3版本的Datax支持clickhouse数据库写入
datax之hivereader
11-04
datax之hivereader，下载完成后直接解压到plugin下的reader。解压完后记得把zip包删掉，不然报错哟
datax-jsonreader
08-13
datax-jsonreader
datax-websadfasdfsdfsd
07-31
datax-web
datax如何使用动态参数
qq_30908729的博客
05-06 1820
linux如何给datax传递参数 解决方法： 假如要给test.json传递当前时间， -p "-Dday=${YESTERDAY}" 就是关键 YESTERDAY=`date +%s` nohup /usr/bin/python2 ${DATAX_PATH}/datax.py -p "-Dday=${YESTERDAY}" test.json & test.json的where属性使用参数可参考：http://www.yayihouse.com/yayishuwu/chapte
【转】dataX简介
hero_xsx的博客
10-29 625
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
Datax增量导入和几种常见的数据迁移模板
qq_39431417的博客
12-16 2109
列出几种常用的Datax的模板，读写的库可以随意互换 1、读PG库写入MySQL { "job": { "content": [ { "reader": { "name": "postgresqlreader", "parameter": { "username": "postgres", "password": "123456",
Mysql数据库常用查询方法及演示（where条件查询、分页、排序等）
li944254211的博客
10-26 1044
Mysql数据库常用查询方法及演示 where条件查询的介绍 使用where条件查询可以对表中的数据进行筛选，条件成立的记录会出现在结果集中。 where语句支持的运算符: 比较运算符 逻辑运算符 模糊查询 范围查询 空判断 1.比较运算符查询 等于: = 大于: > 大于等于: >= 小于: < 小于等于: <= 不等于: != 或 <> 例： 查询编号大于3的学生: select * from students where id > 3; 查询编号不大于
java datax
09-16
对于Java DataX，可以按照以下步骤进行设置和运行： 1. 设置系统环境变量，指定DataX的安装目录。可以使用`System.setProperty("datax.home", dataXHome);`来设置。 2. 创建一个Java方法，例如`test111()`，在该方法中设置DataX的参数，并调用`Engine.entry(params)`来执行DataX任务。 3. 参数可以包括`-mode`（运行模式）、`-jobid`（任务ID）、`-job`（任务配置文件路径）等。根据具体情况进行设置。 4. 异常处理：使用`try-catch`块来捕获可能的异常，并进行相应的处理。 以下是一个示例代码片段，演示了如何设置DataX的参数并执行任务： ```java private static void test111(){ String[] params = {"-mode", "standalone", "-jobid", "-1", "-job", "D:\\DevelopSoftware\\datax\\datax20210506\\datax\\job\\job.json"}; System.setProperty("datax.home", "D:\\DevelopSoftware\\datax\\datax20210506\\datax"); try { Engine.entry(params); } catch (Throwable e) { e.printStackTrace(); } } ``` 除了以上代码示例，还可以使用`@Test`注解来创建测试用例并执行DataX任务，如下所示： ```java @Test public void case01() throws Throwable { // 准备表数据 prepareTable(); // 设置DataX参数并执行任务 String[] params = {"-mode", "standalone", "-jobid", "-1", "-job", "src/test/resources/csv2t.json"}; System.setProperty("datax.home", "../target/datax/datax"); Engine.entry(params); } ``` 请根据您的具体需求和环境，适配以上示例代码，以便正确设置和运行Java DataX任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值