dataX数据同步报错:TIMESTAMP 类型转换错误,[DataX传输脏数据超过用户预期。。。一种解决方法

在这里插入图片描述在这里插入图片描述

发生场景:dataX远程调用接口,将数据抽取到Oracle,抽取的数据有时间类型字段,允许为空。则可能会出现如图片中的错误。
原因分析:dataX远程调用接口时,获取时间类型的字段,默认格式为字符串,向目标表新增时,空字符串转化为时间类型格式报错。
解决思路:在dataX脚本读取reader中判断时间类型的字符串为空时,赋一时间戳类型的时间默认值,这个默认值应该是容易与数据真实时间值区分的时间。在写入writer中postSql中处理,将所赋值的字段重置为空。
说明:只是在此种抽取方式中碰到这问题,其他场景还未操作过。

一下为dataX参照脚本JSON

说明:dataX调用远程接口读取数据,源数据中time1不为空,time2,time3可为空。故在reader中判断如果时间为空,
则赋值一个默认时间戳(946659661000为2000-01-01 01:01:01),目标表中有一字段标注数据来源,
在postSql中进行更新处理。

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "httpreader",
          "parameter": {
            "host": "IP地址",
            "port": "端口号",
            "path": "请求url",
            "param": [
              {
                "name": "增量参数字段",
                "value": "参数值"
              }
            ],
            "column": [
              "col1",
              "col2",
              "time1",
              {
                "value": "{time2== '' ? 946659661000 : time2}",
                "type": "number"
              },
              {
                "value": "{time3== '' ? 946659661000 : time3}",
                "type": "number"
              },
              {
                "value": "shenmaku",
                "type": "string"
              }
            ]
          
          }
        },
        "writer": {
          "name": "oraclewriter",
          "parameter": {
            "username": "",
            "password": "",
            "column": [
              "col1",
              "col2",
              "time1",
              "time2",
              "time3",
              "shujulaiyuan"
            ],
            "postSql": [
              "update target_table set time2= null where shujulaiyuan= 'shenmaku' and  time2= to_date('2000-01-01 01:01:01','YYYY-MM-DD HH24:MI:SS')",
              "update target_table set time3= null where shujulaiyuan= 'shenmaku'  and time3= to_date('2000-01-01 01:01:01','YYYY-MM-DD HH24:MI:SS')"
            ],
            "connection": [
              {
                "table": [
                  "target_table"
                ],
                "jdbcUrl": "jdbc:oracle:thin:@**.**.**.**:orcl"
              }
            ]
          }
        }
      }
    ]
  }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值