Datax-Mysql同步至Hive时时区问题导致日期减少一天

最新推荐文章于 2024-04-29 15:25:00 发布

Shadow_Light

最新推荐文章于 2024-04-29 15:25:00 发布

阅读量3.8k

点赞数 2

分类专栏： Datax 文章标签： Datax GMT 8 Mysql Hive Date

本文链接：https://blog.csdn.net/Shadow_Light/article/details/102615364

版权

Datax 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

一、问题背景

Datax从Mysql数据库到Hive数据同步任务时，发现同步时，date类型字段同步到Hive里中string类型字段时，部分日期会减少一天。

二、集群环境

Datax版本：3.0

三、现象描述

mysql数据库时间	Hive数据库中时间
1986-07-17	1986-07-16
1987-06-26	1987-06-25
1987-12-08	1987-12-08
1988-05-18	1988-05-17
1989-08-08	1989-08-07
1997-08-08	1997-08-08

以上数据是测试时，发现的情况，可以看到对于某些特定日期数据来说，日期往前推移了一天。而且hive表中接收的字段必须是string类型的，对于hive也是date类型的数据不会有这种问题，对于这种现象令人十分迷惑，只能先从代码上找找原因所在，但可以确定大概率的问题应该出在类型转换上。

四、Datax代码

Reader代码Date类型转换：

CommonRdbmsReader：

protected Record buildRecord(RecordSender recordSender,ResultSet rs, ResultSetMetaData metaData, int columnNumber, String mandatoryEncoding,
        		TaskPluginCollector taskPluginCollector) {
        	Record record = recordSender.createRecord();

            try {
                for (int i = 1; i <= columnNumber; i++) {
                    switch (metaData.getColumnType(i)) {

                    ...
    
                    // for mysql bug, see http://bugs.mysql.com/bug.php?id=35115
                    case Types.DATE:
                        if (metaData.getColumnTypeName(i).equalsIgnoreCase("year")) {
                            record.addColumn(new LongColumn(rs.getInt(i)));
                        } else {
                            record.addColumn(new DateColumn(rs.getDate(i)));
                        }
                        break;

                    ...

                    }
                }
            } catch (Exception e) {
                if (IS_DEBUG) {
                    LOG.debug("read data " + record.toString()
                            + " occur exception:", e);
                }
                //TODO 这里识别为脏数据靠谱吗？
                taskPluginCollector.collectDirtyRecord(record, e);
                if (e instanceof DataXException) {
                    throw (DataXException) e;
                }
            }
            return record;
        }

Writer端String转换代码：

HdfsHelper:


public static MutablePair<List<Object>, Boolean> transportOneRecord(
            Record record,List<Configuration> columnsConfiguration,
            TaskPluginCollector taskPluginCollector){

        MutablePair<List<Object>, Boolean> transportResult = new MutablePair<List<Object>, Boolean>();
        transportResult.setRight(false);
        int recordLength = record.getColumnNumber();
        if (0 == recordLength) {
            transportResult.setRight(true);
            return transportResult;
        }

        int maxOutputColumnIndex = getMaxColumnIndex(columnsConfiguration);
        Object[] records = new Object[maxOutputColumnIndex + 1];
        Arrays.fill(records, null);

        int recordIndex = 0;
        for (Configuration columnCof : columnsConfiguration) {
            Column recordColumn = record.getColumn(recordIndex);
            if (null != recordColumn.getRawData()) {
                String rowData = recordColumn.getRawData().toString();
                SupportHiveDataType columnType = SupportHiveDataType.valueOf(
                        columnCof.getString(Key.TYPE).toUpperCase());
                //根据writer端类型配置做类型转换
                try {
                    switch (columnType) {
                        ...
                        case STRING:
                        case VARCHAR:
                        case CHAR:
                            records[columnCof.getInt(Key.INDEX, recordIndex)] = recordColumn.asString();
                            break;
                        case DATE:
                            records[columnCof.getInt(Key.INDEX, recordIndex)] = new java.sql.Date(recordColumn.asDate().getTime());
                            break;
                        case TIMESTAMP:
                            records[columnCof.getInt(Key.INDEX, recordIndex)] = new java.sql.Timestamp(recordColumn.asDate().getTime());
                            break;
                        default:
                            throw DataXException
                                    .asDataXException(
                                            HdfsWriterErrorCode.ILLEGAL_VALUE,
                                            String.format(
                                                    "您的配置文件中的列配置信息有误. 因为DataX 不支持数据库写入这种字段类型. 字段名:[%s], 字段类型:[%d]. 请修改表中该字段的类型或者不同步该字段.",
                                                    columnCof.getString(Key.NAME),
                                                    columnCof.getString(Key.TYPE)));
                    }
                } catch (Exception e) {
                    // warn: 此处认为脏数据
                    String message = String.format(
                            "字段类型转换错误：你目标字段为[%s]类型，实际字段值为[%s].",
                            columnCof.getString(Key.TYPE), recordColumn.getRawData().toString());
                    taskPluginCollector.collectDirtyRecord(record, message);
                    transportResult.setRight(true);
                    break;
                }
            }else {
                // warn: it's all ok if nullFormat is null
                records[columnCof.getInt(Key.INDEX, recordIndex)] = null;
            }
            recordIndex++;
        }
        transportResult.setLeft(Arrays.asList(records));
        return transportResult;
    }

可以看出来，主要都是通过DateColumn这个类，进行源端date类型数据封装，在通过asString读取数据。

public class DateColumn extends Column {

	private DateType subType = DateType.DATETIME;

	public static enum DateType {
		DATE, TIME, DATETIME
	}

	/**
	 * 构建值为stamp(Unix时间戳)的DateColumn，使用Date子类型为DATETIME
	 * 实际存储有date改为long的ms，节省存储
	 * */
	public DateColumn(final Long stamp) {
		super(stamp, Column.Type.DATE, (null == stamp ? 0 : 8));
	}

	/**
	 * 构建值为date(java.sql.Date)的DateColumn，使用Date子类型为DATE，只有日期，没有时间
	 * */
	public DateColumn(final java.sql.Date date) {
		this(date == null ? null : date.getTime());
		this.setSubType(DateType.DATE);
	}

	@Override
	public String asString() {
		try {
			return ColumnCast.date2String(this);
		} catch (Exception e) {
			throw DataXException.asDataXException(
					CommonErrorCode.CONVERT_NOT_SUPPORT,
					String.format("Date[%s]类型不能转为String .", this.toString()));
		}
	}
}

看一下Date to String时做的转换类

public final class ColumnCast {
	...
	public static String date2String(final DateColumn column) {
		return DateCast.asString(column);
	}
	...
}

/**
 * 后续为了可维护性，可以考虑直接使用 apache 的DateFormatUtils.
 * 
 * 迟南已经修复了该问题，但是为了维护性，还是直接使用apache的内置函数
 */
class DateCast {

	static String datetimeFormat = "yyyy-MM-dd HH:mm:ss";

	static String dateFormat = "yyyy-MM-dd";

	static String timeFormat = "HH:mm:ss";

	static String timeZone = "GMT+8";

	static TimeZone timeZoner = TimeZone.getTimeZone(DateCast.timeZone);

	static void init(final Configuration configuration) {
		DateCast.datetimeFormat = configuration.getString(
				"common.column.datetimeFormat", datetimeFormat);
		DateCast.timeFormat = configuration.getString(
				"common.column.timeFormat", timeFormat);
		DateCast.dateFormat = configuration.getString(
				"common.column.dateFormat", dateFormat);
		DateCast.timeZone = configuration.getString("common.column.timeZone",
				DateCast.timeZone);
		DateCast.timeZoner = TimeZone.getTimeZone(DateCast.timeZone);
		return;
	}

	static String asString(final DateColumn column) {
		if (null == column.asDate()) {
			return null;
		}

		switch (column.getSubType()) {
		case DATE:
			return DateFormatUtils.format(column.asDate(), DateCast.dateFormat,
					DateCast.timeZoner);
		case TIME:
			return DateFormatUtils.format(column.asDate(), DateCast.timeFormat,
					DateCast.timeZoner);
		case DATETIME:
			return DateFormatUtils.format(column.asDate(),
					DateCast.datetimeFormat, DateCast.timeZoner);
		default:
			throw DataXException
					.asDataXException(CommonErrorCode.CONVERT_NOT_SUPPORT,
							"时间类型出现不支持类型，目前仅支持DATE/TIME/DATETIME。该类型属于编程错误，请反馈给DataX开发团队 .");
		}
	}
}

五、分析

分析代码可以看出来，hdfswriter底层在做date2String时，使用了一个GMT+8的时区，而mysqlreader并没有使用一个时区，采用的是默认的时区。因此判断出可能和时区有关系，但是首先得确认java默认时区是怎么取得。

默认时区的代码获取可以参考网上的这篇，说的还是比较详细的：JAVA默认时区获取。大致就是jvm参数>linux系统时区>GMT。而datax启动参数里没有配置这个参数，查看了一下linux系统的时区为：Asia/Shanghai。

根据Asia/Shanghai以及GMT+8时区，在网上查找资料后，无意间有一个回答提到了夏令时的问题。因此跟着这个思路看了一下夏令时，发现中国在1986-1991之间实行一段时间的夏令时：每年从四月中旬第一个星期日的凌晨2时整（北京时间），将时钟拨快一小时，即将表针由2时拨至3时，夏令时开始；到九月中旬第一个星期日的凌晨2时整（北京夏令时间），再将时钟拨慢一小时，即将表针由2时拨至1时，夏令时结束。完全就能解释出，为什么指定年份间的指定月份日期会往前推一天。

六、解决方案

1、程序中使用默认的时区去做date2String，去掉GMT+8

2、System.setProperty("user.timezone","GMT+8");

3、在datax启动脚本中添加GMT+8时区

Shadow_Light

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
Datax-Mysql同步至Hive时时区问题导致日期减少一天

一、问题背景Datax从Mysql数据库到Hive数据同步任务时，发现同步时，date类型字段同步到Hive里中string类型字段时，部分日期会减少一天。二、集群环境Datax版本：3.0三、现象描述mysql数据库时间 Hive数据库中时间 1986-07-17 1986-07-16 1987-06-26 1987-06-25 1987-12-...
复制链接

扫一扫