impala/hadoop 错误排查（一）-- ERROR tool.ExportTool: Error during export: Export job failed

最新推荐文章于 2023-10-31 19:20:38 发布
最新推荐文章于 2023-10-31 19:20:38 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： impala 文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42792892/article/details/121019488
版权

某次执行sqoop时发生如下报错：
在这里插入图片描述
21/10/28 16:44:22 ERROR tool.ExportTool: Error during export: Export job failed!

往上查看，发现是 job_1634560478237_2734 在执行 task_1634560478237_2734_m_000000 时发生错误


此时可以到hadoop的job任务日志查看具体的错误，也可以在hadoop的jobhistory 19888端口上查看，地址如下

在这里插入图片描述
浏览器中输入地址后得到：

在这里插入图片描述
点击 Task Type --> Map Reduce

在这里插入图片描述
看到task的状态是FAILED ，点进去查看错误日志

在这里插入图片描述
发现是主键冲突，DONE!

锅前带刀小笼包
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop ERROR tool.ExportTool: Error during export: Export job failed!
berkely心路的博客
06-09 906
sqoop导入数据报错： 21/06/09 17:31:19 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:442) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) ...
Error during export: Export job failed! sqoop遇到的错
大数据
12-16 7759
ERROR tool.ExportTool: Error during export: Export job failed 从网上查看网友的经历，发现可能是hive 库表文件没有指定分隔符，打开hive中的对应目录，发现所有数据没有任何分隔符，难怪，这让计算机怎么去识别？这一大串的数据。 删除现有的表，重新新建一个表，这个时候既定一定要添加上分割符。row format delimited f...
报错ERROR tool.ExportTool: Error during export: Export job failed!
weixin_62837637的博客
12-09 955
报错ERROR tool.ExportTool: Error during export: Export job failed!
sqoop从hive导出到mysql报错 ERROR mapreduce.ExportJobBase: Export job failed!
总分全班第一
05-18 1万+
1，错误日志关键如下 19/05/17 11:48:15 INFO mapreduce.Job: Running job: job_1558105459102_0007 19/05/17 11:48:42 INFO mapreduce.Job: Job job_1558105459102_0007 running in uber mode : false 19/05/17 11:48:42 INF...
hdfs mysql sqoop 失败_sqoop从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job faile...
weixin_31621945的博客
02-01 303
楼主需要把hdfs上的数据导入到mysql当中，报如下错误。18/11/22 16:04:37 ERROR tool.ExportTool: Error during export:Export job failed!at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)at org.apache....
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决
qq_43688472的博客
08-27 4426
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决 这里的错误就是经典的hive和mysql的表结构不对应，有可能你的实际情况和我不一样，但是按照这个思路去检查会很轻松找到你的问题根源。 这个问题是sqoop把你的数据往mysql中塞的时候格式不符，他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。 hive表结构查询 desc [表名]; 一：检查mysql表和hive表的表的结构 二：查看
[已解决]ERROR tool.ExportTool: Error during export: Export job failed!
Maynor的博客
10-31 1031
除了hive表结构之外，我们再检查一下hive的数据，在hdfs/user/hive/warehouse/co中，可以在linux中hadoop fs -cat /user/hive/warehouse/co查看，为了方便我这里选择在windows中下载查看。在检查后我发现两个表结构是完全一致的，也有可能是hive的分隔符弄错了（–input-fields-terminated-by ‘\001’），检查后也没有问题，hive中确实使用默认的’\001’作为分隔符，那为什么会报错嘞？desc [表名];
【踩坑】sqoop：Error during export: Export job failed!
sofeld的博客
07-21 2084
ERROR tool.ExportTool: Error during export: 原因是hive建表时没有添加分隔符，加上row format delimited fields terminated by ‘\t’ 就好了。就酱。
踩坑——Sqoop报错ERROR tool.ExportTool: Error during export
热门推荐
@羲凡—只为更好的活着
04-19 1万+
@羲凡——只为了更好的活着 踩坑——Sqoop报错ERROR tool.ExportTool: Error during export 控制台打印的报错是 19/04/19 20:17:09 ERROR mapreduce.ExportJobBase: Export job failed! 19/04/19 20:17:09 ERROR tool.ExportTool: Error during ...
Sqoop：Error during export:Export job failed !
wq151030的博客
08-25 1617
Sqoop：Error during export:Export job failed ! sqoop导出数据到mysql出现异常，平时都很正常的今天不行了，还没什么报错信息，是不是很郁闷。博客上的文章也不太行。。。自己想想原来是这个问题 21/08/25 15:03:05 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(E
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
CDH是业界广泛采用的企业级Hadoop发行版，它不仅集成了Hadoop的核心组件，还包含了其他的开源大数据项目，如Hive、Pig、Spark、Impala等，提供了一整套大数据处理和分析解决方案。CDH 5.16.2是CDH系列的一个重要更新...
impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip
03-31
在IT行业中，Impala、Hive和HBase是大数据处理领域的重要组件，它们与Hadoop紧密相连，构建了CDH（Cloudera Distribution Including Apache Hadoop）生态系统的一部分。本压缩包"impala依赖cdh版本的hadoop-hbase-...
hadoop-2.6.0-cdh5.10.1.tar.gz
03-24
【标题】"hadoop-2.6.0-cdh5.10.1.tar.gz" 是一个针对大数据处理和分析的软件集合，包含了Hadoop的2.6.0版本以及CDH（Cloudera Distribution Including Hadoop）的5.10.1版本。CDH是一个由Cloudera公司维护的开源...
hadoop-2.6.0-cdh5.7.0.tar.gz
03-14
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是解决大数据处理的问题。Hadoop 2.6.0是Hadoop发展过程中的一个重要版本，它在Hadoop 2.x系列中提供了许多改进和新特性，以提高性能、稳定性和...
hadoop-2.6.0-cdh5.9.3.tar.gz
04-09
《深入理解Hadoop CDH版本：大数据处理的关键技术解析》 在当今的信息化时代，大数据已经成为企业竞争力的重要组成部分。Hadoop作为开源的大数据处理框架，以其分布式、容错性及可扩展性的特点，赢得了广大用户的...
ERROR tool.ExportTool: Error during export: Export job failed!错误解析
strelizia
08-27 1万+
在使用sqoop导出数据的时候出现了这种报错。 20/08/27 15:03:05 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931
Error during export:Export job failed !
weixin_43859562的博客
02-01 233
sqoop的时候出现了这个错误 一开始以为是字段机构不同，后面发现原来是数据量太大了，分开传输就行了
sqoop从mysql迁移数据到hive中遇到的问题
dsl200970的博客
04-19 5658
INFO mapreduce.Job: Counters: 12         Job Counters                  Failed map tasks=1                 Killed map tasks=3                 Launched map tasks=4                 Rack-lo
hiveserver2: $HIVE_HOME/bin/hive --service hiveserver2 &一直处理会话
最新发布
06-09
HiveServer2是Apache Hive的一个重要组件，它是一个提供服务的守护进程，用于在Hadoop生态系统中运行SQL查询。HiveServer2作为Hive的交互式服务器，允许用户通过各种客户端（如Hive CLI、Impala、JDBC/ODBC等）连接到Hive，并执行数据处理任务。当你在命令行中使用`$HIVE_HOME/bin/hive --service hiveserver2 &`启动HiveServer2并在后台持续处理会话时，它会监听请求，处理SQL查询，对存储在Hadoop HDFS或HBase等数据存储系统中的Hive元数据进行操作。 HiveServer2的主要特点包括： 1. **高可用性**：允许多个客户端同时连接，支持并行查询和分布式计算。 2. **可扩展性**：支持水平扩展，通过增加节点来处理更多的并发请求。 3. **安全性**：支持用户认证和授权，保护数据安全。 4. **SQL语法支持**：提供标准SQL兼容性，可以处理复杂的ETL（提取、转换、加载）任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值