impala/hadoop 错误排查（一）-- ERROR tool.ExportTool: Error during export: Export job failed

最新推荐文章于 2024-07-28 16:45:11 发布
最新推荐文章于 2024-07-28 16:45:11 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： impala 文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42792892/article/details/121019488
版权

某次执行sqoop时发生如下报错：
在这里插入图片描述
21/10/28 16:44:22 ERROR tool.ExportTool: Error during export: Export job failed!

往上查看，发现是 job_1634560478237_2734 在执行 task_1634560478237_2734_m_000000 时发生错误


此时可以到hadoop的job任务日志查看具体的错误，也可以在hadoop的jobhistory 19888端口上查看，地址如下

在这里插入图片描述
浏览器中输入地址后得到：

在这里插入图片描述
点击 Task Type --> Map Reduce

在这里插入图片描述
看到task的状态是FAILED ，点进去查看错误日志

在这里插入图片描述
发现是主键冲突，DONE!

锅前带刀小笼包
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
impala ERROR: TransmitData() to 10.19.231.254:27000 failed: Network error107
萌兔兔MMQ！！
03-31 1469
ERROR: TransmitData() to 10.19.231.254:27000 failed: Network error: recv error from 0.0.0.0:0: 传输端点尚未连接 (error 107) 同时查的该任务的sql语句和发现占用内存都很大，直接kill掉，后面任务可以执行了
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
CDH是业界广泛采用的企业级Hadoop发行版，它不仅集成了Hadoop的核心组件，还包含了其他的开源大数据项目，如Hive、Pig、Spark、Impala等，提供了一整套大数据处理和分析解决方案。CDH 5.16.2是CDH系列的一个重要更新...
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决
qq_43688472的博客
08-27 4458
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决 这里的错误就是经典的hive和mysql的表结构不对应，有可能你的实际情况和我不一样，但是按照这个思路去检查会很轻松找到你的问题根源。 这个问题是sqoop把你的数据往mysql中塞的时候格式不符，他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。 hive表结构查询 desc [表名]; 一：检查mysql表和hive表的表的结构 二：查看
Error during export: Export job failed! sqoop遇到的错
大数据
12-16 7764
ERROR tool.ExportTool: Error during export: Export job failed 从网上查看网友的经历，发现可能是hive 库表文件没有指定分隔符，打开hive中的对应目录，发现所有数据没有任何分隔符，难怪，这让计算机怎么去识别？这一大串的数据。 删除现有的表，重新新建一个表，这个时候既定一定要添加上分割符。row format delimited f...
hdfs mysql sqoop 失败_sqoop从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job faile...
weixin_31621945的博客
02-01 305
楼主需要把hdfs上的数据导入到mysql当中，报如下错误。18/11/22 16:04:37 ERROR tool.ExportTool: Error during export:Export job failed!at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)at org.apache....
sqoop从hive导出到mysql报错 ERROR mapreduce.ExportJobBase: Export job failed!
热门推荐
总分全班第一
05-18 1万+
1，错误日志关键如下 19/05/17 11:48:15 INFO mapreduce.Job: Running job: job_1558105459102_0007 19/05/17 11:48:42 INFO mapreduce.Job: Job job_1558105459102_0007 running in uber mode : false 19/05/17 11:48:42 INF...
报错ERROR tool.ExportTool: Error during export: Export job failed!
weixin_62837637的博客
12-09 962
报错ERROR tool.ExportTool: Error during export: Export job failed!
Hadoop的hadoop-config.sh脚本详解
sunyang098的博客
11-25 8240
先简要说明下我的读该脚本的环境，集群是CDH5.3，在研究命令行中hadoop -jar ***.jar命令的相关脚本时，在hadoop文件中追到了hadoop-config.sh这个文件，所以下边的注解添加了我当前情况的处理。 this="${BASH_SOURCE-$0}" #显示本脚本文件全路径 common_bin=$(cd -P -- "$(dirname -- "$this
impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip
03-31
在IT行业中，Impala、Hive和HBase是大数据处理领域的重要组件，它们与Hadoop紧密相连，构建了CDH（Cloudera Distribution Including Apache Hadoop）生态系统的一部分。本压缩包"impala依赖cdh版本的hadoop-hbase-...
hadoop-2.6.0-cdh5.10.1.tar.gz
03-24
【标题】"hadoop-2.6.0-cdh5.10.1.tar.gz" 是一个针对大数据处理和分析的软件集合，包含了Hadoop的2.6.0版本以及CDH（Cloudera Distribution Including Hadoop）的5.10.1版本。CDH是一个由Cloudera公司维护的开源...
hadoop-2.6.0-cdh5.7.0.tar.gz
03-14
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是解决大数据处理的问题。Hadoop 2.6.0是Hadoop发展过程中的一个重要版本，它在Hadoop 2.x系列中提供了许多改进和新特性，以提高性能、稳定性和...
hadoop-2.6.0-cdh5.9.3.tar.gz
04-09
《深入理解Hadoop CDH版本：大数据处理的关键技术解析》 在当今的信息化时代，大数据已经成为企业竞争力的重要组成部分。Hadoop作为开源的大数据处理框架，以其分布式、容错性及可扩展性的特点，赢得了广大用户的...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1206
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 938
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
图解 Hadoop 架构 ｜Yarn、MapReduce
面向生活编程
07-22 951
YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统的一个关键组件，用于集群资源管理和作业调度，是 Hadoop 的第二代资源管理器，取代了早期版本中的 MapReduce 作业调度器，为大规模数据处理提供了更灵活和高效的资源管理框架。尽管 MapReduce 在大数据处理方面取得了巨大成功，但随着数据处理需求的多样化，其他更灵活和高级的计算模型和框架也得到了发展和应用，如 Spark、Flink 等。后续会出一篇关于 YARN 详细笔记，这里不过多赘述～
分布式系统常见软件架构模式
Ben的专栏
07-25 1022
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 786
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 1011
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
hiveserver2: $HIVE_HOME/bin/hive --service hiveserver2 &一直处理会话
06-09
HiveServer2是Apache Hive的一个重要组件，它是一个提供服务的守护进程，用于在Hadoop生态系统中运行SQL查询。HiveServer2作为Hive的交互式服务器，允许用户通过各种客户端（如Hive CLI、Impala、JDBC/ODBC等）连接...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值