Datax 报错：ERROR StdoutPluginCollector---hive写入gp库

最新推荐文章于 2024-02-02 15:59:11 发布
最新推荐文章于 2024-02-02 15:59:11 发布
阅读量2k 收藏 1
点赞数
分类专栏： datax error stdoutplugincollector 软件开发中遇到的问题和解决方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17000457/article/details/118608969
版权

Datax 报错：ERROR StdoutPluginCollector -hive写入gp库，转换错误如下：
error stdoutplugincollector 脏数据
其他网站说是什么版本，什么数据类型错误，不一而足，但是对我个人而言不好使，没办法，喝口凉水，告诉自己这时候不要慌，看下日志上方的Engin信息，看下reader下的column信息，

"column":[
{“index”:"0","type":"varchar"},
........
]

这里hive中的数据类型就没有varchar，问题找到了，去改下sourceContentMap内部的sColumn类型就可以了。

charles1002
关注
专栏目录
如何使用 datax 拉取 hive 中的数据到 oracle 中？
qq_43368947的博客
07-08 1431
需求 将 hive 中的数据拉取到 oracle 中，使用的工具是 datax 步骤 1.先在 hive 中找一张需要拉取的表，然后在 oracle 中创建对应的空表，等待拉取数据 2.在 datax 的 bin 目录下 编写 json 脚本 vi hiveoracle.json { "job": { "setting": { "speed": { "byte": 1048576 }, "errorLimit
记录运行datax-web-UI的坑
啊谋的博客
08-26 2202
执行npm install 的时候出现： Failed to connect to github.com port XXX 是连接XXX端口失败：多数是因为你设置代理了，查看代理： git config --global http.proxy 看到：127.0.0.1：1080 取消代理： git config --global --unset http.proxy 然后在执行或者附带阿里镜像： npm install npm install --registry https:.
【已解决】DataX报错：ERROR StdoutPluginCollector - 脏数据: {“exception“:“Could not retrieve transation read-on
Cocowwy的博客
04-26 5256
使用阿里的DataX工具进行数据迁移的时候，入库的时候报错，纠结了一天终于找到了原因 ERROR StdoutPluginCollector - 脏数据: {"exception":"Could not retrieve transation read-only status server","record":[{"byteSize":3,"index":0,"rawDat 原因：MySQL版本与DataX指定的mysql的连接驱动的版本对应不上 你可以通过 select version() 命令查看
Datax 报错：ERROR StdoutPluginCollector - java.sql.SQLException: TIMESTAMP 类型转换错误
weixin_45780435的博客
06-02 3739
一、相关日志截图 二、问题场景 使用datax 将mysql数据同步到mysql，执行任务后发现日志显示timestamp类型转换错误。 三、解决方法 因为目标表该字段类型是datetime类型，所以要在逻辑中进行转换。 cast(字段名 as datetime) ...
【mysql数据库】报错解决：ERROR StdoutPluginCollector - 脏数据: {“exception“:“Incorrect string value: ‘\\xF0\\x9
weixin_34200157的博客
12-09 2948
设置字符集为tf8mb4会好很多
dataX报错com.alibaba.datax.common.exception.DataXException: Code:[Framework-14]Description:[DataX传输脏数据
weixin_59295776的博客
07-25 2192
com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期，该错误通常是由于源端数据存在较多业务脏数据导致，请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过，限制是[0]条，但实际上捕获了[6]条.解决方案：将json文件中不匹配的int类型变更更为dataX支持的long类型即可。
datax之core.json
viviliving的专栏
01-07 1864
{ "common": { "column": { "dateFormat": "yyyy-MM-dd", "datetimeFormat": "yyyy-MM-dd HH:mm:ss", "encoding": "utf-8", "extraFormats": ["yyyyMMdd"], "timeFormat": "HH:mm:ss", "timeZone": "GMT+8" } }, "c.
plugin-unstructured-storage-util-0.0.1-SNAPSHOT.jar
02-21
修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class 加上一个判断，因为在hdfs中，null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax-web部署报错： Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException:
10-14
这个错误提示表明 datax-web 应用无法连接到数据库，请检查数据库配置是否正确以及数据库是否正常运行。 具体排查步骤如下： 1. 检查 datax-web 的配置文件，确认数据库连接信息是否正确。 2. 确认数据库是否正常...
datax-es:从mysql导入es 重写代码
05-16
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
DataX从hive导出数据到mysql报错，无法将hive表中数据内容导入mysql
abc5254065的博客
01-18 2936
ERROR StdoutPluginCollector - 脏数据: {"message":"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.BIGINT","record":[{"byteSize":2,"index":0,"rawData":"城市","type":"STRING"},{"byteSize":0,"index":1,"raw...
Datax问题记录
最新发布
u013984781的博客
02-02 2382
data异常
解决datax导入mysql时中文无法导入问题
weixin_47303949的博客
06-18 1639
问题：在使用datax将sqlserver的数据导入mysql时报错，而且含有中文的数据导不进去 报错为：ERROR StdoutPluginCollector - java.sql.SQLException: Incorrect string value: ‘\xB0\xEB\xD7\xD4\xB6\xAF…’ for column ‘sc_prnn’ at row 1 而且显示如下报错信息 一看mysql发现含有中文的字段所对应的值都没有导入进来，所以是编码问题 解决方法如下： 1.修改datax的
阿里云大数据利器Maxcompute学习之--数据同步任务常见日志报错总结
chuhan3075的博客
05-18 2192
在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。 那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事...
基于DataX的crontab定时同步功能——CentOS7.6下DataX完美详细安装配置使用解析，和crontab灵魂结合
本博客暂停使用
12-12 1167
DataX亵玩 学习 0.环境 现在JDK版本是需要1.8了，官方源码都进行了升级 ITEM VERSION CentOS 7.6 JDK 1.8.0_232 Python 2.7.15 Maven 3.6.3 JDK安装配置【完美】 # 卸载默认环境 yum -y remove java-1.8.0-openjdk* yum -y remo...
Datax从Hive中导出数据写入到MySQL
wowSpark
05-08 4242
Datax从Hive中导出数据写入到MySQL读取Hive数据时，Datax内部支持的数据类型脏数据错误类型的解决方法 读取Hive数据时，Datax内部支持的数据类型 Hive1.2.x 版本支持的数据类型已经很丰富了，但是Datax目前还支持不了这么多的数据类型，如果不注意的话，将会抛出很多奇怪的问题：比如 脏数据 的问题。 DataX 内部类型 Hive表 数据类型 Long TINYINT,SMALLINT,INT,BIGINT Double FLOAT,DOUBLE Str
阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结
weixin_34128411的博客
05-16 1603
在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。 那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值