Hadoop上传文件到HDFS失败

最新推荐文章于 2024-01-29 22:30:52 发布
最新推荐文章于 2024-01-29 22:30:52 发布
阅读量924 收藏 1
点赞数
文章标签： 大数据 java shell
原文链接：http://www.cnblogs.com/flyingcr/p/10326997.html
版权

错误提示：

INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.net.NoRouteToHostException: No route to host
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1702)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1432)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1385)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:554)

看了这篇文章解决了问题

点击打开链接

总结如下：

1、关闭所有主机包括slave节点的防火墙

 sudo systemctl stop firewalld.service//关闭防火墙

 sudo systemctl disable firewalld.service

firewall-cmd --state

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 

转载于:https://www.cnblogs.com/flyingcr/p/10326997.html

                

        

        




    




    

      

        

            

              
                
                  weixin_30239339
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
Hadoop之HDFS文件操作

				
			

			

				

					super_ozman的专栏
				

				

					08-12
					
					378
					
				

			

		

		

			
				
Hadoop的文件命令采取的形式为：hadoop fs -cmd args>
其中cmd是具体的文件命令，而args>是一组可变的参数。cmd的命名通常与Linux对应的命名相同。
1、添加文件和目录

			
		

	



                

              
                



	

		

			

				
					
hadoop无法上传hdfs方法解决

				
			

			

				

					qq_56572867的博客
				

				

					04-18
					
					6455
					
				

			

		

		

			
				
首先，我遇到的是两种情况第一种是namenode没有开启，秒挂的情况，这个会出现这种提示


put: File /hdfsdata/NOTICE.txt._COPYING_ could only be written to 0 of the 1
 minReplication nodes. 
There are 0 datanode(s) running and 0 node(s) are excluded in this operation.


注意就是下面提醒了datanode是0，通过jps查看，

			
		

	



                


  
              

                


	

		

			

				
					
上传文件到Hadoop失败的原因分析及解决方法.pdf

				
			

			

				

					11-24
				

			

		

		

			
				
上传文件到Hadoop失败的原因分析及解决方法.pdf

			
		

	





	

		

			

				
					
上传文件到HDFS

				
			

			

				

					10-30
				

			

		

		

			
				
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。

			
		

	



		

			
		



	

		

			

				
					
Hadoop通过WEB上传文件到HDFS失败

					
热门推荐

				
			

			

				

					Shion's bla bla blog
				

				

					12-15
					
					1万+
					
				

			

		

		

			
				
没想到WEB也需要知道内部的主机名，不科学啊……

			
		

	





	

		

			

				
					
Hadoop fs -put：上传文件至Hdfs总是失败

				
			

			

				

					weixin_34409741的博客
				

				

					04-23
					
					1885
					
				

			

		

		

			
				
背景：Hadoop正常启动，所有服务：namenode，datanode，jobtracker，tasktracker都正常启动运行。且执行hadoop其他命令如-ls，-rm，-mkdir等都正常运行。就是执行hadoop fs -put test.txt input命令时失败。注：namenode主机ip：192.168.101.135问题描述：namenode节点日志（...

			
		

	





	

		

			

				
					
hadoop上传本地文件到hdfs报错

				
			

			

				

					haishuipaomian的博客
				

				

					09-18
					
					429
					
				

			

		

		

			
				
	[code="java"]public static void Copy() throws IOException{
		Configuration cfg = new Configuration();
		FileSystem hdfs = FileSystem.get(cfg);
//		File file = new File("C:\\XXX\\API\\ss.txt");
		...

			
		

	





	

		

			

				
					
解决hadoop集群模式上传文件失败

				
			

			

				

					lianqfiveq的博客
				

				

					05-08
					
					3432
					
				

			

		

		

			
				
第一种 查看是否关闭防火墙



第二种

关闭集群 stop-all.sh

删掉core-site.xml里hadoop.tmp.dir的路径里tmp下的dfs



重新进行格式化 hdfs namenode -format

    格式化成功启动start-all.sh

第三种

    先关闭集群stop-all.sh

重复格式化 导致namenodeVERSION clus...

			
		

	





	

		

			

				
					
web端hadoop hdfs管理界面，上传文件失败

				
			

			

				

					weixin_40167653的博客
				

				

					06-09
					
					1754
					
				

			

		

		

			
				
web端hadoop hdfs管理界面，上传文件失败

			
		

	





	

		

			

				
					
Hadoop上传文件到hdfs时出现问题

					
最新发布

				
			

			

				

					m0_75028327的博客
				

				

					01-29
					
					502
					
				

			

		

		

			
				
进入Hadoop目录下的cd/opt/module/hadoop/sbin中，使用./stop-all.sh将集群关闭，再通过./start-all.sh启动Hadoop集群。（1）将Hadoop安装目录下的cd/opt/module/hadoop/tmp/dfs/data中的current文件删除。（3）使用jps查看集群,就可以看到datanode已经启动。（2）使用start-all.sh重启Hadoop集群。

			
		

	





	

		

			

				
					
Hadoop本地操作HDFS不能上传文件问题

				
			

			

				

					Xu_XiaoXiao_Ji的博客
				

				

					08-05
					
					8062
					
				

			

		

		

			
				
本地操作HDFS不能上传文件问题

问题描述
在本地使用JavaAPI客户端进行Hadoop集群HDFS操作时，只能够新建文件目录、删除目录、新建文件等操作，当上传文件时出错，上传文件内容为空；在shell终端中能够正常的进行文件上传等操作。

问题原因
1.NameNode节点存放的是文件目录，也就是文件夹、文件名称，本地可以通过公网访问 NameNode，所以可以进行文件夹的创建，当上传文件需...

			
		

	





	

		

			

				
					
hadoop 不能上传文件至hdfs，但是通过shell是可以的

				
			

			

				

					weixin_30530339的博客
				

				

					04-18
					
					295
					
				

			

		

		

			
				
代码部分：

core-site.xml配置

hdfs-site.xml配置

报错信息：
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hello.txt could only be replicated to 0 nodes instead of minReplication (=1). ...

			
		

	





	

		

			

				
					
Hadoop本地操作HDFS不能上传文件

				
			

			

				

					weixin_43719703的博客
				

				

					10-12
					
					4038
					
				

			

		

		

			
				
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/a.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s) ...

			
		

	





	

		

			

				
					
hadoop网页上传文件失败及其解决办法

				
			

			

				

					Java_exe的博客
				

				

					10-23
					
					855
					
				

			

		

		

			
				
解决办法：进入 C:\Windows\System32\drivers\etc，使用iNotepad或者记事本打开。今天在VM workstation进行Hadoop集群搭建时，在网页端访问主节点（NameNode）的时候出现无法上传的情况。网上冲浪了很久也没有满意的解决问题的方案。检查发现是主机映射没做好。

			
		

	





	

		

			

				
					
IDEA上传 HDFS文件出错

				
			

			

				

					thinkhui的专栏
				

				

					03-26
					
					1623
					
				

			

		

		

			
				
错误如下：
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1).  
There are 1 datanode(s) running and 1 n...

			
		

	





	

		

			

				
					
hadoop开发：HDFS上传文件失败原因

				
			

			

				

					崔向阳@李晓的博客
				

				

					12-02
					
					7799
					
				

			

		

		

			
				
执行[grid@hadoop001 hadoop-1.1.2]$ bin/hadoop fs -put ../input/* ./in提示：
13/08/11 18:33:58 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ip      c.RemoteException: java.io.IOExce

			
		

	





	

		

			

				
					
【hadoop】hdfs web界面上传文件报Couldn‘t upload the file

				
			

			

				

					qq_22744093的博客
				

				

					04-26
					
					3494
					
				

			

		

		

			
				
hosts文件路径：C:\Windows\System32\drivers\etc。F12打开控制台，看到上传文件接口用域名用的是node-1，解析不到对应的ip。解决办法：修改windows的hosts文件。修改hosts文件的权限，右键鼠标选择属性。然后添加hosts记录，保存。

			
		

	





	

		

			

				
					
hdfs 上传文件失败

				
			

			

				

					weixin_30847271的博客
				

				

					08-09
					
					221
					
				

			

		

		

			
				
报错：could only be replicated to 0 nodes instead of minReplication (=1)
原因：slaves 设置的内网ip，eclipse连不到
解决：slaves设置成外网ip，用windows能连接到
转载于:https://www.cnblogs.com/water-sky/p/5752235.html...

			
		

	





	

		

			

				
					
hadoop解决文件上传问题（DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException）

				
			

			

				

					生夏夏的博客
				

				

					04-26
					
					6876
					
				

			

		

		

			
				
在进行Hadoop环境搭建后，使用Hadoop shell命令时---上传本地文件到HDFS的目录下，出现如下报错：



由于本人新手小白一枚




			
		

	





	

		

			

				
					
hadoop上传本地文件到hdfs

				
			

			

				

					09-23
				

			

		

		

			
				
使用hadoop的API可以将本地文件上传到HDFS上。具体的代码如下所示：

```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsUpload {
    public static void main(String[] args) {
        // 设置Hadoop配置信息
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        try {
            // 获取HDFS文件系统的实例
            FileSystem fs = FileSystem.get(conf);

            // 设置本地文件路径和HDFS目标路径
            String localFilePath = "/path/to/local/file";
            String hdfsDirPath = "/path/to/hdfs/directory";

            // 上传文件到HDFS
            fs.copyFromLocalFile(new Path(localFilePath), new Path(hdfsDirPath));

            // 关闭文件系统连接
            fs.close();

            System.out.println("文件上传成功！");
        } catch (Exception e) {
            System.err.println("文件上传失败：" + e.getMessage());
        }
    }
}
```



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值