在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动

最新推荐文章于 2023-03-14 15:09:04 发布
最新推荐文章于 2023-03-14 15:09:04 发布
阅读量1.5k 收藏 2
点赞数
分类专栏： Hadoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36055407/article/details/100172933
版权

19/08/31 14:49:26 INFO mapreduce.Job:  map 100% reduce 0%

在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动，此时成旭也不报错，在查看map的log时发现是由于mysql中设置字符长度不够导致的错误，但是错误只能在日志中看到。

2019-08-31 14:49:19,803 ERROR [Thread-11] org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'stime' at row 1
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4235)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4169)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2617)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2825)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2156)
	at com.mysql.jdbc.PreparedStatement.execute(PreparedStatement.java:1379)
	at org.apache.sqoop.mapreduce.AsyncSqlOutputFormat$AsyncSqlExecThread.run(AsyncSqlOutputFormat.java:233)

2019-08-31 14:49:19,804 ERROR [Thread-11] org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'stime' at row 1
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4235)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4169)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2617)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2825)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2156)
	at com.mysql.jdbc.PreparedStatement.execute(PreparedStatement.java:1379)
	at org.apache.sqoop.mapreduce.AsyncSqlOutputFormat$AsyncSqlExecThread.run(AsyncSqlOutputFormat.java:233)

在修改了mysql中的属性之后，运行成功！

学习中....
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
sqoop导出到mysql卡住_Sqoop导出的时候一直卡在map100%
weixin_39606118的博客
02-05 778
最近最近使用sqoop导出的时候也就是export的时候，主要作用是用sqoop将hive中的数据导出到MySQL中。实际上就是将hdfs的数据导出到mysql中。就是这么一个小操作就一直卡在map的100%，就很难受。卡在map的百分之百就上网找，各种各样的，但是还是不对，太难受了。经过漫长的挣扎，总算找到了问题所在。而且还是一个非常小的问题，可能写出来，大家都觉得很白痴的一错误，就很难受哟。先...
sqoop导hive数据到mysql卡死在INFO mapreduce.Job: map 100% reduce 0%
大黄_sama
02-22 3010
       用sqoop将hive里面的数据导出到mysql里去，一种情况是mapreduce 程序卡住，INFO mapreduce.Job: map 100% reduce 0%       另一种情况是：报这个错误：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xBB' for column       经...
sqoop job mapreduce运行失败
crystal_tyan
11-17 813
无缘无故失败，查不出原因 原因：hadoop maprduce设置的jvm内存不够
使用sqoop将数据从hdfs中导入mysql时，卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法
香菇的博客
04-20 7909
最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象，当任务执行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任务卡在map100% ，任何reduce不继续执行。 总结了以下解决办法： 一，如果没有报错的话，可能是你mysql的数据库建表指定的主键不全，导致导入一部分数据后，主键出现相同字段，那么就造成阻塞了
sqoop从hdfs导出数据到mysql，卡在map100%, reduce 0%
God_pigs的博客
03-14 450
利用sqoop从hdfs导出数据到mysql，卡在map100%, reduce 0%
sqoop的原理及概念
10-17
Sqoop 的架构非常简单，整合了 Hive、Hbase 和 Oozie，通过 map-reduce 任务来传输数据，从而提供并发特性和容错。 二、Sqoop 的工作流程 Sqoop 的工作流程可以分为以下几个步骤： 1. 读取要导入数据的表结构，...
sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz
05-13
Sqoop是Apache Hadoop生态中的一个工具，专门用于在关系型数据库（如MySQL、Oracle等）和Hadoop之间进行数据的导入导出。这个压缩包"sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz"是Sqoop 1.4.3版本针对Hadoop 1.0.0的二...
大数据课程-Hadoop集群程序设计与开发-11.综合项目-网站流量日志数据分析系统_lk_edit.pptx
01-01
在数据采集后，MapReduce被用来对原始日志数据进行预处理，转换为适合分析的结构。MapReduce是Hadoop的核心组件，它将大规模数据处理分解为两个阶段：Map阶段（数据分发和局部处理）和Reduce阶段（汇总处理结果）。...
第17章 大数据平台运行与应用实战.docx
11-27
在数据清洗阶段，Map 阶段对原始数据进行拆分和映射，Reduce 阶段则对映射后的数据进行聚合和整理，以去除重复、错误或无用的信息。 2. **Hive 基本语法**：Hive 是基于 Hadoop 的数据仓库工具，提供SQL-like 查询...
hadoop大数据生态圈工具配置与应用.pdf
12-09
开发人员可以使用JAVA API编写map和reduce函数，实现自定义的数据处理逻辑。Map函数将原始数据转化为键值对，Reduce函数则将map阶段的结果进行聚合。通过这种方式，可以处理海量数据，并在Hadoop集群中并行执行。 *...
关于MapReduce,Map能完全执行，Reduce执行到一半卡住不执行
qiaotongzxcv的专栏
10-10 3807
卡住了几个小时，死活停滞不前，发现后根据提示开始排错，进入50030，进入作业发现 这说明作业在map之完后的shuffle阶段中，reduce无法从map处拷贝数据，是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常，然后开始各种检查：所有节点hosts中写的完全相通，不是节点名称不同或者节点没有完全加上造成的，排除；找到slaves发现写的也完
sqoop map 直接从0%跳到100%
yy的博客
06-21 151
怎么让
sqoop从hdfs导入mysql中mapreduce程序卡在INFO mapreduce.Job: map 100% reduce 0%
bb123116的博客
12-24 641
是mysql中数据表结构的问题 我的数据是 我的mysql表一开始结构是 改成这样就好了
Hadoop Context 写文件遇到的问题（reduce 100% 后失败）
三丰的专栏
03-08 2540
场景：        我在一个reduce中同时使用了context.write 和multipleOutputs.write,         结果却打出了如下信息：2018-03-07 17:45:39,425 INFO [submiter1] org.apache.hadoop.mapreduce.Job: map 100% reduce 98% 2018-03-07 17:45:44,4...
sqoop从HDFS导出数据到Mysql，卡在Running job: job_1571036741208_0010不动了，或者map 100% reduce 0%不动了
chun的博客
10-14 1444
用sqoop从HDFS导出数据到mysql，一直卡在Running job: job_1571036741208_0010，应该是内存太小，导致速度太慢 在 yarn-site-xml中增加下面两个，然后分发给各个节点，再重启yarn即可 <property> <name>yarn.nodemanager.resource.memory-mb</name...
使用sqoop将HDFS数据导出到RDBMS，map100%reduce0%问题
飞龙探月
12-30 2301
使用sqoop将HDFS数据导出到RDBMS，map100%reduce0%问题
MapReduce map100% Reduce 66% 卡死
duchang110的专栏
01-03 5408
如果你碰到map100%,reduce 66% 然后程序就貌似停止在这里了，可能是由于在Reduce类里使用了String造成的 根据一位外国友人的说明，在reduce阶段 ，0-33%阶段是 shuffle 阶段，就是根据键值 来讲本条记录发送到指定的reduce，这个阶段应该是在map还没有完全完成的时候就已经开始了，因为我们会看到map在执行到一个百分比后reduce也启动了，这样
hadoop执行作业： map：100% reduce：0%卡住的问题。
qq_45879579的博客
06-13 2970
查阅资料多处显示是因为是yarn的配置问题。内存与CPU的资源不够，更改更改yarn中的设置，添加以下内容；在分发到集群，解决问题。 | yarn.nodemanager.resource.memory-mb 20480 yarn.scheduler.minimum-allocation-mb 2048 yarn.nodemanager.vmem-pmem-ratio 2.1 ...
sqoop export导入任务失败但部分数据入库成功能问题
Colinspace
10-08 941
分析整理遇到的sqoop export导入，任务执行失败，但是实际数据库中对应表存在部分数据的问题
sqoop hdfs导出数据到mysql
最新发布
06-28
### 回答1： sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。可以使用sqoop将HDFS中的数据导出到MySQL数据库中。 具体步骤如下： 1. 首先需要安装sqoop，并配置好相关环境变量。 2. 然后使用以下命令将HDFS中的数据导出到MySQL中： sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password root --table test_table --export-dir /user/hadoop/input --input-fields-terminated-by ',' 其中，--connect参数指定了MySQL数据库的连接地址，--username和--password参数指定了MySQL数据库的用户名和密码，--table参数指定了要导出的表名，--export-dir参数指定了HDFS中要导出的数据的路径，--input-fields-terminated-by参数指定了输入文件的分隔符。 3. 执行以上命令后，sqoop会将HDFS中的数据导出到MySQL数据库中的test_table表中。 希望对你有所帮助！ ### 回答2： Sqoop是一个Apache基金会下属的开源项目，用于将结构化数据导入和导出到Hadoop集群中。Sqoop可以很方便的从关系型数据库（如MySQL、Oracle、PostgreSQL等）导入数据到Hadoop中，也可以将数据从Hadoop导出到关系型数据库中。 具体来说，我们可以通过Sqoop将数据从HDFS中导出到MySQL中。首先要安装配置好Sqoop和MySQL，然后进行如下操作： 1. 在Hadoop中将需要导出的数据存储到HDFS中； 2. 执行Sqoop命令从HDFS中将数据导出到MySQL中； 3. 指定导出数据的表名和目标MySQL数据库； 4. 在MySQL中确认数据已经成功导入。 下面是具体的操作步骤： 1. 在Hadoop中将需要导出的数据存储到HDFS中。假设我们需要导出的数据在Hadoop的/user/hadoop/input目录中，可以使用以下命令将数据存储到HDFS中： ``` hadoop fs -put [本地目录] [HDFS目录] ``` 2. 执行Sqoop命令从HDFS中将数据导出到MySQL中。下面是一个示例Sqoop命令： ``` sqoop export --connect jdbc:mysql://localhost/test --username root --password root --table [目标表名] --export-dir [HDFS目录] ``` 其中，--connect指定MySQL的连接地址、--username指定登录MySQL的用户名、--password指定登录MySQL的密码、--table指定导出的目标表名、--export-dir指定导出数据的HDFS目录。 3. 在MySQL中确认数据已经成功导入。可以使用以下命令进行查询： ``` select * from [目标表名] ``` 综上所述，Sqoop可以将Hadoop中的数据快速方便地导出到关系型数据库中，为企业提供了数据分析和业务应用上的便利。需要注意的是，使用Sqoop导出数据时要配置好数据的格式和存储方式，以确保数据的完整性和一致性。 ### 回答3： Sqoop 是一个可用于将 Hadoop 与关系型数据库结合使用的工具。它可以将关系型数据库中存储的数据通过 MapReduce 将数据转移到 Hadoop 的分布式文件系统 HDFS 以及反向操作（从 HDFS 将数据转移到关系型数据库中）。Sqoop 具有以下特点： 1. 速度快：Sqoop 向关系型数据库发出的查询语句是高效的，并能够并行地将数据从关系型数据库导出和导入到 Hadoop 中。 2. 数据完整性：Sqoop 按照关系型数据库中的表结构，直接将数据导出和导入 Hadoop，因此数据完整性较高。 3. 易于使用：Sqoop 操作简单易懂，可以通过使用命令行工具或 Sqoop 界面轻松地导入和导出大量数据。 将数据从 HDFS 导出到 MySQL 中，可以通过以下步骤完成： 1. 在 Sqoop 中创建连接：可以通过以下方式创建一个到 MySQL 数据库的连接： sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password password \ --table mytable 2. 定义导出的数据：可以使用以下命令来定义要导出的数据： sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password password \ --table mytable \ --columns col1,col2,col3 \ --where "col1 > 100" 其中，“columns”参数允许您指定要导出的列，而“where”参数允许您指定从源表中选择要导出的行。 3. 导出数据到 HDFS：使用以下命令将数据导出到 HDFS： sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password password \ --table mytable \ --columns col1,col2,col3 \ --where "col1 > 100" \ --target-dir /user/hadoop/mydata 其中，“target-dir”参数将数据导出到 HDFS 中的目录中。 4. 将数据从 HDFS 导入 MySQL：使用以下命令将数据从 HDFS 导入到 MySQL 中： sqoop export \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password password \ --table mytable \ --export-dir /user/hadoop/mydata 其中，“export-dir”参数指定导入的数据所在的 HDFS 目录。 以上是将数据从 HDFS 导出到 MySQL 中的基本步骤。Sqoop 可以使用其他参数和选项进行更复杂的操作，可以根据需要自由配置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值