DataX从hive导出数据到mysql报错，无法将hive表中数据内容导入mysql

最新推荐文章于 2024-07-04 01:36:11 发布

原创

最新推荐文章于 2024-07-04 01:36:11 发布 · 3.1k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #数据仓库

在使用DataX从Hive导出数据到MySQL时遇到错误，具体表现为无法处理Hive表中的BIGINT类型数据。错误信息提示DataX不支持此类型。为解决该问题，需要调整DataX启动配置，将HdfsReader中的列类型转换为DataX兼容的类型。完成类型转换后，重新运行DataX任务，可以成功导入数据。

ERROR StdoutPluginCollector - 脏数据:
{"message":"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.BIGINT","record":[{"byteSize":2,"index":0,"rawData":"城市","type":"STRING"},{"byteSize":0,"index":1,"rawData":"","type":"STRING"},{"byteSize":6,"index":2,"rawData":"临沂市分公司","type":"STRING"},{"byteSize":2,"index":3,"rawData":"二级","type":"STRING"},{"byteSize":0,"index":4,"rawData":"","type":"STRING"},{"byteSize":4,"index":5,"rawData":"书房家具","type":"STRING"}],"type":"reader"}