DataX 之导入MySQL数据时间戳字段不完整

在从HDFS的CSV文件导入MySQL时遇到日期格式转换问题,原始格式为2022-10-11T21:29:57.000+08:00,导入后变为2022-10-11 00:00:00。由于DataX reader不支持timestamp类型,需要手动处理日期字段。解决方案是将create_time字段转换为2022/10/11 21:29:57格式,作为字符串导入,确保数据准确性。
摘要由CSDN通过智能技术生成

问题描述

场景:hdfs上的csv文件的日期格式:2022-10-11T21:29:57.000+08:00,导入到mysql 里面变成了 2022-10-11 00:00:00,期望格式:2022-10-11 21:29:57。

  1. csv字段格式
    在这里插入图片描述
  2. dataX reader -json:
"reader": {
"name": "hdfsreader",
"parameter": {
"path": "/mysqldata/type_list/*",
"defaultFS": "hdfs://192.168.xx:8020",
	"column": [
	{
	"index": 0,
	"type": "Long"
	},
	{
	"index": 1,
	"type": "String"
	},
	{
	"index": 2,
	"type": "String"
	}
	],
"fileType": "csv",
"encoding": "UTF-8",
"fieldDelimiter": ",",
"skipHeader": "true"
}
}

原因分析:

dataX 的reader 不支持timestamp类型,需要自己处理数据


解决方案:

create_time 处理成 2022/10/11 21:29:57 这样。然后使用String即可准确导入MySQL

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值