在测试MySQL到HDFS备份性能时遇到HDFS写入异常，表现为SocketTimeoutException。错误显示为READ_TIMEOUT。解决方案是调整HDFS的超时设置，包括`dfs.socket.timeout`和`dfs.datanode.socket.write.timeout`，在`hadoop-site.xml`或`hdfs-site.xml`中增加相关配置，将超时时间延长至3000000毫秒。
from http://blog.163.com/zhengjiu_520/blog/static/3559830620130510443956/
最近在测试mysql往HDFS备份的性能问题，发现对mysql执行xtrabackup进行限速之后经常出现HDFS写入不正常的情况。
11/10/12 10:50:44 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_8540857362443890085_4343699470java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/172.*.*.*:
2917
390
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
