win10上传数据到HDFS错误

最新推荐文章于 2021-05-30 08:30:12 发布
最新推荐文章于 2021-05-30 08:30:12 发布
阅读量553 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moon_and_ant/article/details/84305522
版权
在Win10环境下使用JDK1.8尝试上传数据到Linux上的HDFS时遇到错误，文件只被写入了0个应为1个minReplication节点。问题可能与datanode数量、节点排除有关。解决办法参考链接：https://blog.csdn.net/moon_and_ant/article/details/84305334，需要检查Hadoop在Windows的配置环境。
摘要由CSDN通过智能技术生成

2018-11-20 12:56:29 [main:0]-[ERROR] - org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(DFSClient.java:940) - Failed to close inode 194272
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /josn/test could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2103)
    at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:287)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:865)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:550)
    at org.apac

最低0.47元/天 解锁文章
hello ,ant
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本地上传文件到hdfs
06-29 1492
import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class Uplo...
win安装部署hadoop3.0.0并启动上传文件到HDFS
csanningdn的专栏
04-26 2245
1.下载工具包（下载不方便的留邮箱） hadoop-3.0.0.tar.gz winutils-master.zip 2.正式上手 1.解压文件 hadoop-3.0.0.tar.gz winutils-master.zip 2.配置环境变量 Path最前面添加：;%HADOOP_HOME%\bin; 配置完cmd-> hadoop version 测试一下 下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录 修改cor..
ERROR hdfs.DFSClient: Failed to close file解决方法
weixin_30699235的博客
04-11 2410
14/04/11 17:59:44 ERROR hdfs.DFSClient: Failed to close file /wlan_out/_temporary/_attempt_local_0001_r_000000_0/part-r-00000org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.nameno...
HBASE RegionServer异常退出 Failed to close inode
荒-于嬉的博客
01-11 1848
背景 报错部分日志 2021-01-11 16:01:06,827 ERROR [RS_CLOSE_REGION-h1:16020-0] regionserver.HRegion: Memstore size is 6567168 2021-01-11 16:01:06,827 INFO [RS_CLOSE_REGION-h1:16020-0] regionserver.HRegion: Closed data_retain_so_default_tenant_contact,2020-10-26_9de
hdfs.DFSClient: Failed to close file 解决办法
kaichekaihanma的博客
06-12 8608
1.在hbase目录下，执行以下语句 hbase hbck -fix hbase hbck -repair 2.然后重新执行你所需要执行的命令 3.执行以上操作之前，你要确保你的hadoop，hbase中所有的localhost以及所需用的端口号保持一致 例如，在hadoop中主机名为master，那么hbase中就也用master（不要用192.111.111.111等等）并且端口号要
本地文件上传到HDFS的demo代码
03-26
从本地上传文件到HDFS上的代码！使用hadoop的API操作，使本地文件的代码上传到HDFS上！！！
上传文件到HDFS
10-30
当我们需要将本地文件系统中的文件上传到HDFS时，可以使用Java API来实现这一功能。以下是对“上传文件到HDFS”的Java代码实现的详细说明。 首先，我们需要引入Hadoop的相关依赖库。在Maven项目中，可以在pom.xml...
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
在代码的 `sendFile` 方法中，我们实现了将本地文件上传到 HDFS 的功能。首先，通过 `FileSystem.getLocal(conf)` 创建一个本地文件系统的实例，然后使用 `FileSystem.get(conf)` 获取 HDFS 文件系统的实例。接下来...
flume消费kafka数据上传hdfs.doc
05-09
Flume 消费 Kafka 数据上传 HDFS Flume 是一个分布式、可靠、可扩展的数据收集系统，主要用于从各种来源（例如日志文件、网络等）中实时收集数据，并将其传输到目标系统（例如 HDFS、Hive 等）中。本文档将详细介绍...
Flume采集Rabbitmq数据同步到HDFS
05-30
它设计用于从多种源（如网络应用服务器）抽取数据，然后将其传输到一个集中式数据存储系统，如Hadoop HDFS（Hadoop Distributed File System）。在这个场景中，我们将探讨如何使用Flume从RabbitMQ消息队列中采集数据...
Hadoop-HDFS DFSClient的严重bug
Developing Hadoop-based applications
03-30 233
上一篇说到Shell 对自身DN造成的性能影响，本篇说一下它对DFSClient的冲击。 不知道有没有朋友像我这样病态的使用Hadoop， 我的DFSClient总是一直Running的，因为我需要它时刻为我做事，所以我不会轻意重新创建一个与NN相连的DFSClient。 闲言少述。 Shell 的执行对正在put文件的客户端会产生下列异常： 1. DataStreamer Ex...
使用hdfs API 读写hadoop文件的坑
qq_39126213的博客
05-22 293
使用hdfs API 读写hadoop文件的坑 环境: 自己搭建的阿里云三台云服务器,整个环境都配置好 遇到的问题: 在写hdfs api的时候,能创建目录,但是就是无法上传和下载问题,具体的报错信息在如下: log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN
spark 中写hdfs的异常解决
记录我遇到的坑
07-18 3454
报错信息：   ERROR DFSClient: Failed to close inode 16604 java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: c
hadoop 2.6.0 org.apache.hadoop.hdfs.server.blockmanagement。HeartbeatManager源代码分析
houzhizhen的专栏
01-22 1773
先分析HeartbeatManager的成员变量：  datanodes存储的活着的datanodes;  stats存储系统全局的一些统计信息。 /** * Stores a subset of the datanodeMap in DatanodeManager, * containing nodes that are considered alive. * The
Hadoop异常 hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException
Frederick_w的博客
03-24 3009
今天在做hadoop完全分布式任务测试的时候遇见了这种错误，发现Datanode节点找不到，但是去slave节点上看，已经启动了，后来才发现是slave节点防火墙没有关闭：防火墙有两种:         一种是centos默认的firewall防火墙        一种是iptables防火墙iptables我没有安装(iptables关掉是：servcie iptables stop 这是临时关...
hadoop踩坑记录（1）
_Tucci
04-11 5650
windows单机安装hadoop 3.1.0。建议将java换成java8。最开始用的java10各种问题 到hadoop官网下载。 windows的需要下载一个这个https://github.com/steveloughran/winutils；然后根据自己的hadoop版本，替换掉bin中的文件。 然后将hadoop解压。之后将解压目录设置环境变量HADOOP_HOME。然后配置配置...
hadoop节点不显示_Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点...
weixin_30356603的博客
12-24 440
19/05/15 11:03:12WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/wc_input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of...
记一次datax hdfswriter的踩坑记（上传文件到hdfs的坑）
果汁华的博客
05-30 3885
写这个文档的初衷是方便后人在使用datax同步hdfs的时候及时脱坑，毕竟本人花了不少时间一步一步才排查出来的，在google、github、stackoverflow目前没有完整排坑文档（大部分只是到设置dfs.client.use.datanode.hostname这一步）。 背景是需要把数据从mysql同步到hdfs中，采用的工具是datax。 1、拿到myql和hdfs的连接信息，写好job config文件，运行datax。 直接报错： Caused by: org....
问题综合大全
记录
09-15 897
Hive 1、java.lang.RuntimeException: Error caching map.xml Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/zheng/953248bb-587a-4faa-b14a-fa26e6e8b05c/hive_2021-07-16_15-22-57_353_2201885990890795097-1/-mr-10005/c8ef7.
Oracle到HDFS数据同步实战——DataX教程
"这篇博客文章主要讨论如何使用DataX工具将Oracle数据库的数据同步到HDFS(Hadoop Distributed File System)中。DataX是一个由阿里巴巴开发的开源数据同步框架，支持多种数据库之间的数据迁移。文章分为三个部分，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值