mapreduce写出到mysql_通过mapreduce向mysql大量写数据时报错-问答-阿里云开发者社区-阿里云...

最新推荐文章于 2021-11-23 15:59:56 发布
最新推荐文章于 2021-11-23 15:59:56 发布
阅读量217 收藏
点赞数
文章标签： mapreduce写出到mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39831503/article/details/113403871
版权
在使用MapReduce通过Java代码向MySQL大量写入数据时，遇到Communications link failure错误。当数据量较大，多台DataNode同时写入时，问题尤为明显。该错误可能由于事务回滚失败导致，建议检查数据库连接配置、并发写入策略及网络稳定性。
摘要由CSDN通过智能技术生成

通过mapreduce向mysql大量写数据时报错Communications link failure during rollback(). Transaction resolution unknown.：报错

报错如下：

AttemptID:attempt_1398735110766_0055_r_000000_0 Timed out after 600 secs Error: java.io.IOException: Communications link failure during rollback(). Transaction resolution unknown.

at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat$DBRecordWriter.close(DBOutputFormat.java:110)

at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.close(ReduceTask.java:550)

at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:629)

at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)

at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:416)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)

at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

java代码如下：

import java.io.DataInput; import java.io.DataOutput; import java.io.File; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.util.Iterator;

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.filecache

最低0.47元/天 解锁文章
weixin_39831503
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mapreduce写出到mysql_MapReduce输出到MySQL编码错误解决
weixin_35680189的博客
02-07 143
将搜索引擎日志的结果用mapreduce统计后灌入mysql的过程中，出现了如下错误：16/01/15 16:25:57 INFO mapreduce.Job: Task Id : attempt_1452318091100_0022_r_000000_0, Status : FAILEDError: java.io.IOException: Incorrect string value: '\x...
mapreduce写数据至mysql
asheng1116的专栏
09-14 132
package com.sun.mysql; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLExce...
mapreduce写出到mysql_mapreduce计算的数据导入mysql报错
weixin_29476755的博客
01-27 135
java.lang.Exception: java.io.IOExceptionat org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)Cause...
MapReduce输出到MySQL编码错误解决
weixin_34347651的博客
01-15 85
2019独角兽企业重金招聘Python工程师标准>>> ...
Caused by: java.io.IOException: com.mysql.jdbc.Driver
qq_48959845的博客
11-23 1608
项目场景： hadoop直接输出mapper阶段到mysql，本地测试没问题 问题描述： 在集群上运行jar架包，报错 java.lang.Exception: java.io.IOException: com.mysql.jdbc.Driver at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) at org.apache.hadoop.mapred.LocalJobRunner$Jo
mysql-connector-java-8.0.28.tar.gz
03-25
MySQL Connector/J是MySQL数据库与Java应用程序之间的重要桥梁，它是一个实现了Java Database Connectivity (JDBC) API的驱动程序，使得Java开发者能够方便地在MySQL数据库上执行SQL查询和操作。在这个"mysql-...
spark streaming mysql_基于Spark Streaming 进行 MySQL Binlog 日志准实时传输-阿里云开发者社区...
weixin_26824299的博客
02-05 183
基本架构RDS -> SLS -> Spark Streaming -> Spark HDFS上述链路主要包含3个过程：如何把 RDS 的 binlog 收集到 SLS。如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。如何把链路 2 中读取和处理过的日志，保存到 Spark HDFS中。环境准备安装一个 MySQL 类型的数据库(使用 MySQL...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
10-10
Sqoop 的工作原理是通过 JDBC（Java Database Connectivity）连接到关系型数据库，将数据转换为 Hadoop 可以处理的格式，然后利用 MapReduce 作业将数据写入 HDFS 或其他 Hadoop 兼容的数据存储系统。同样，它也...
sqoop-1.4.7.bin__hadoop-2.6.0.tar
03-10
在 Hadoop 生态系统中，Sqoop 提供了一种高效、可扩展的方式，用于将大量结构化数据导入到 Hadoop 分布式文件系统（HDFS）中，或者将数据导出回传统的关系型数据库。这使得 Hadoop 能够处理来自企业级数据库的数据，...
mysql报错 Communications link failure during rollback(). Transaction resolution unknown.解决方式
热门推荐
廖剑秋的博客
04-19 2万+
连接mysql的时候经常出现以下报错: ### Error querying database. Cause: java.sql.SQLNonTransientConnectionException: Communications link failure during rollback(). Transaction resolution unknown. ### The error ma...
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException
qq_42554949的博客
10-09 3173
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Communications link failure during rollback(). Transaction resolution unknown. 这个问题当时是发生在我们软件使用人数突然激增的一个时间段,前面一个链接还没有执行完毕,后面的链接又来了,导致一个线程堵塞.导致一些链接超时掉了.数据库连接超时断开连接,但是服务层面这个链接还是存在的导致这个问题,如
springboot 整合mybatisPlus报 nNoClassDefFoundError: org/mybatis/logging/LoggerFactory
06-12 5080
完整的错误如下： org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'historyMainController': Unsatisfied depe...
java 连接mysql时，报错Communications link failure
weixin_43421537的博客
08-18 1866
不一定适用所有情况，就像我也找了十几篇博客，都没有解决我的问题一样。只当做参考，拓展解决问题的思路。 项目启动，与mysql做交互时，一直报错。手动编写jdbc连接，也同样报错。在根据网上建议，更改超时时间、ip限制、校核驱动版本等操作后，仍然无效。报错信息如下： com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfull
Communications link failure during commit(). Transaction resolution unknown.
cihuan0804的博客
07-06 1万+
13:37:06.443 [pool-10-thread-1] ERROR o.s.s.s.TaskUtils$LoggingErrorHandler - Unexpected error occurred in scheduled task. org.springframework.tran...
连接mysql报Communication link failure: java.io.IOException, underlying cause: Unexpected end of input s
evilcry2012的专栏
06-30 1745
搞了几个小时 都没搞好 网上搜索说是 mysql版本和jdk版本的问题  但是在java环境下 运行是没问题的  但是在web环境下就报错 搞的毛死了 报错如下: 不能在连接池中创建新的连接. URL =  java.sql.SQLException: Communication link failure: java.io.IOException, underlying cause:
java链接mysql出问题_java连接MySQL出现问题
weixin_39838028的博客
02-17 182
该楼层疑似违规已被系统折叠隐藏此楼查看此楼Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times. Givi...
MySQL连接问题： MySQLNonTransientConnectionException:Communications link failure during rollback()
Harry的博客
05-07 1万+
昨天线上出现了这样的一个问题：MySQLNonTransientConnectionException:Communications link failure during rollback() 初步判定应用的连接配置有问题。 方案一：修改DBCP参数 参数说明： timeBetweenEvictionRunsMillis (设置的Evict线程的时间，单位：毫秒，即每隔多少时间去检测一次空闲连...
Hadoop开发者第三期：数据库访问与MapReduce深度解析
作者通过深入浅出的方式，讲解了如何在Hadoop环境中集成和操作数据库，这包括了与传统关系型数据库如MySQL、Oracle的交互，以及NoSQL数据库如HBase、Cassandra的集成。这部分内容对于那些希望将现有数据仓库与Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值