easyscheduler任务成功显示失败问题：Data too long for column 'app_link' at row 1

最新推荐文章于 2024-07-30 21:11:04 发布
最新推荐文章于 2024-07-30 21:11:04 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据 easyscheduler dolphinscheduler 文章标签： 大数据 easyscheduler dolphinscheduler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caojian107/article/details/103858289
版权
在使用dolphinscheduler时遇到任务显示失败的异常，尽管所有sqoop import命令执行成功。通过查看执行主机日志，发现因'app_link'字段数据过长导致错误。该字段对应'yarn app id'，扩大其varchar长度为5000后，问题得到解决。
摘要由CSDN通过智能技术生成

最近使用dolphinscheduler（原easyscheduler）过程中，发现一个奇怪的问题：在一个shell任务中写了10个sqoop import命令，执行任务，显示执行失败，在UI查看日志发现所有的sqoop都执行成功了，而且shell中也增加了判断，失败就exit 1，都执行成功了最后会exit 0。为什么exit 0，shell脚本还是执行失败？——思路与之前一样，看日志！WEBUI中的日志并无报错，就到执行任务的host节点查看。果然报错了！

[ERROR] 2020-01-03 17:13:26.963  - [taskAppId=TASK-8-81-156]:[189] - 
### Error updating database.  Cause: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
### The error may exist in org/apache/dolphinscheduler/dao/mapper/TaskInstanceMapper.java (best guess)
### The error may involve org.apache.dolphinscheduler.dao.mapper.TaskInstanceMapper.updateById-Inline
### The error occurred while setting parameters
### SQL: UPDATE t_ds_task_instance  SET flag=?, task_json=?, pid=?, app_link=?, task_type=?, task_instance_priority=?, log_path=?, host=?, start_time=?, state=?, process_instance_id=?, process_definition_id=?, alert_flag=?, execute_path=?, worker_group_id=?, max_retry_times=?, retry_times=?, submit_time=?, name=?, retry_interval=?  WHERE id=?
### Cause: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
; Data truncation: Data too long for column 'app_link' at row 1; nested exception is com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
org.springframework.dao.DataIntegrityViolationException: 
### Error updating database.  Cause: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
### The error may exist in org/apache/dolphinscheduler/dao/mapper/TaskInstanceMapper.java (best guess)
### The error may involve org.apache.dolphinscheduler.dao.mapper.TaskInstanceMapper.updateById-Inline
### The error occurred while setting parameters
### SQL: UPDATE t_ds_task_instance  SET flag=?, task_json=?, pid=?, app_link=?, task_type=?, task_instance_priority=?, log_path=?, host=?, start_time=?, state=?, process_instance_id=?, process_definition_id=?, alert_flag=?, execute_path=?, worker_group_id=?, max_retry_times=?, retry_times=?, submit_time=?, name=?, retry_interval=?  WHERE id=?
### Cause: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
; Data truncation: Data too long for column 'app_link' at row 1; nested exception is com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'app_link' at row 1
最低0.47元/天 解锁文章
badbeat
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【DolphinScheduler】spark任务执行成功,状态却显示失败问题
hyj
11-01 2483
1、问题描述 在ds上执行运行一个spark任务，yarn显示成功运行并有正常输出，但是ds的页面反馈为失败。 页面显示： worker节点日志显示： [ERROR] 2021-11-01 10:31:53.418 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - Connect to 192.168.xxx.xx3:8088 [/192.168.xxx.xx3] failed: 拒绝连接 (Connection refused
[Spark版本更新]--Spark-2.0.1版本的最新改动
欢迎来到我的博客，一起探索代码里的世界！
11-12 6451
spark-2.0.1版本的最新改动 Sub-task(子任务) [SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite [SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog [SPARK-...
【mysql报错】Data truncation: Data too long for column ‘XXX‘ at row 1
开发随笔-猫咪酱
10-28 2万+
.MysqlDataTruncation: Data truncation: Data too long for column报错问题
Dolphinscheduler 3.2.1bug记录
最新发布
guofei_ok的博客
07-30 211
问题1：
Data truncation: Data too long for column错误分析
weixin_33762321的博客
09-12 6454
有一次遇到mysql jdbc抛出异常Data truncation: Data too long for column经过思考，发现原因可能有两种：一、字段长度不够。可以考虑选择更长的字段，例如：VARCHAR->TEXT->MEDIUMTEXT->LONGTEXT->LONGBLOB另外mysql貌似没有nvarchar类型二、数据源URL中的字符...
Data truncation: Data too long for column ‘xxx‘ at row 1
酷酷的馫博客
07-25 3938
Data truncation: Data too long for column 'xxx' at row 1;
Data truncation: Data too long for column 'xxxx' at row 1
jiahaodong的博客
10-08 4004
Data truncation: Data too long for column '' at row
Apache DolphinScheduler 使用常见问题总结(持续更新中)
热门推荐
samz5906的专栏
05-29 4万+
DolphinScheduler 使用常见问题总结开发环境常见问题API启动端口是8080不是12345找不到mysql驱动 开发环境常见问题 API启动端口是8080不是12345 在初始化环境中api默认配置12345， 解决办法 编辑运行配置，增加如下配置 -Dserver-api-server -Dspring.profiles.active=api 找不到mysql驱动 由于DolphinScheduler 默认使用的postgresql,默认没有引入mysql驱动依赖。需要手动修改pom。
Oracle Applications Multiple Organizations Access Control for Custom Code
淡
11-06 5828
文档 ID 420787.1 White Paper Oracle Applications Multiple Organizations Access Control for Custom Code Checked for relevance on 12-JAN-2011 See Change Record This document discusses how to
记：一次执行oracle状态报告SQL脚本（dba_snapshot_database_10g.sql ）的过程
滑稽小菜鸟的博客
01-06 1461
首先将脚本导入os，顺便说下这个脚本，dba_snapshot_database_10g.sql 一个老外写的，非常好，可用于数据库巡检。 oracle脚本默认位置：/u01/app/oracle/product/10.2.0/db_1/rdbms/admin 不过我们放到自己放的位置   传输完成后确认：   [oracle@rac1 ~]$ ll| grep 10g
Data too long for column ‘xxx‘ at row 1 ——数据库字段长度太短
M_Love_U的博客
05-29 1万+
Data too long for column ‘xxx‘ at row 1 ——数据库字段长度太短
海豚调度器DolphinScheduler执行sqoop任务
qq_56842590的博客
09-19 956
进入：DolphinScheduler UI地址为初始用户的用户名为：admin，密码为dolphinscheduler123。
在腾讯云环境下，dolphinscheduler调度sqoop脚本从mysql写数据到hive表报unKnowHostException和NullPointerException异常处理
weixin_42724318的博客
07-27 1929
在腾讯云环境下，dolphinscheduler海豚调度sqoop脚本可以正常从mysql消费数据到hive表中，但是DS的状态却显示为失败。 看DS的运行日志，出现了空指针异常，获取应该的状态失败。 查看DS的worker日志，发现DS每次是去连接host:8088获取应用的状态，而腾讯云的httpaddress端口为5004。 解决方法： 1、在DS的conf中的common.properties配置文件中加入配置resource.manager.httpaddress.port=5004 2、将每个
sqoop/datax+hive+dolphinscheduler
csdn_gyb的博客
08-26 1379
sqoop/datax+hive+dolphinscheduler
Data truncation: Data too long for column 'XXX' at row 1
非同╰_╯寻常
12-02 3万+
Data truncation: Data too long for column 'XXXX' at row 1 解决方法： （1）字符编码统一： 将所有的编码都设置成utf8，jsp的contentType="text/html;charset=utf-8" 修改数据库默认编码ALTER DATABASE `test` DEFAULT CHARACTER SET ut
Dolphin scheduler Druid 连接失败问题解决
BertramLAU的专栏
05-21 2068
Dolphin scheduler Druid 连接失败问题解决 问题现象 搭建了dolphinscheduler分布式服务，整体web系统除调度任务外运行正常，无法配置工作流，发现master日志中显示，通过druid连接mysql失败，搜索各种资料未果 dolphinscheduler-master.2020-05-20_11.0.log // An highlighted block ### The error may exist in org/apache/dolphinscheduler/dao/
dolphinscheduler_shell_sqoop_增量抽取源数据
超的专栏
02-11 1380
dolphinscheduler_shell_sqoop_增量抽取数据
DolphinSchedule执行Spark任务失败
qq_41937507的博客
06-29 2497
现象： DolphinSchedule执行Spark任务失败,但yarn实际是执行成功的,且目标库中有执行结果. yarn： ds 的worker报错日志： [ERROR] 2021-06-28 14:59:41.693 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - null: Name or service not known java.net.UnknownHostException: null: Name
Data truncation: Data too long for column pk_value at row 17
08-24
Data truncation: Data too long for column是指在插入或更新数据时，数据的长度超过了列的最大长度限制。在这种情况下，需要修改数据库字段的长度，以适应较长的数据。 解决方案可以根据具体情况而定。一种常见的解决方案是将列的数据类型更改为更大的数据类型，例如将varchar改为text或mediumtext。这样可以容纳更长的数据。 另外，还可以尝试检查数据是否正确截断或缩短，以使其适应列的长度限制。如果数据确实超过了列的最大长度，那么只能通过增加列的长度或者修改数据以适应列的限制。 在具体操作上，可以通过修改数据库表结构来更改列的长度。例如，使用ALTER TABLE语句修改列的定义。具体的语法将根据数据库的类型而有所不同。 总之，解决Data truncation: Data too long for column的问题可以通过修改数据库字段的长度或调整数据来适应列的限制。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【mysql报错】Data truncation: Data too long for column ‘XXX‘ at row 1](https://blog.csdn.net/ranran0224/article/details/127571063)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [MySql 插入时报：Data truncation: Data too long for column ‘xxx‘ at row 1](https://blog.csdn.net/weixin_51587574/article/details/127889896)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Delphi7.1 Update](https://download.csdn.net/download/chenxh/135104)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值