在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题，求解决

最新推荐文章于 2021-11-19 10:34:09 发布
最新推荐文章于 2021-11-19 10:34:09 发布
阅读量1.7k 收藏
点赞数
分类专栏： 云计算 错误笔记 文章标签： 云计算 hadoop eclipse wordcount 错误
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_417174491/article/details/17487731
版权
在Windows环境下使用Eclipse运行Hadoop的WordCount程序时遇到错误，提示找不到job jar文件和输入路径不存在。经过排查，发现是hadoop-core-1.1.2.jar中FileUtil类的checkReturnValue方法导致的问题，该方法在Windows下检查文件权限。通过注释掉该方法或替换新的jar包解决了问题。提醒读者要谨慎对待网络资源，遇到问题要学会自己动手解决。
摘要由CSDN通过智能技术生成

WordCount源代码如下：

 

    
 
  1. package org.apache.hadoop.examples;
    2. 
 

  2.  
    3. 
 
  3. import java.io.IOException;
    4. 
 
  4. import java.util.StringTokenizer;
    5. 
 

  5.  
    6. 
 
  6. import org.apache.hadoop.conf.Configuration;
    7. 
 
  7. import org.apache.hadoop.fs.Path;
    8. 
 
  8. import org.apache.hadoop.io.IntWritable;
    9. 
 
  9. import org.apache.hadoop.io.Text;
    10. 
 
  10. import org.apache.hadoop.mapreduce.Job;
    11. 
 
  11. import org.apache.hadoop.mapreduce.Mapper;
    12. 
 
  12. import org.apache.hadoop.mapreduce.Reducer;
    13. 
 
  13. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    14. 
 
  14. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    15. 
 
  15. import org.apache.hadoop.util.GenericOptionsParser;
    16. 
 

  16.  
    17. 
 
  17. public class WordCount {
  
    18. 
 

  18.  
    19. 
 
  19.   public static class TokenizerMapper 
    20. 
 
  20.        extends Mapper<Object, Text, Text, IntWritable>{
  
    21. 
 
  21.     
    22. 
 
  22.     private final static IntWritable one = new IntWritable(1);
    23. 
 
  23.     private Text word = new Text();
    24. 
 
  24.       
    25. 
 
  25.     public void map(Object key, Text value, Context context
    26. 
 
  26.                     ) throws IOException, InterruptedException {
  
    27. 
 
  27.       StringTokenizer itr = new StringTokenizer(value.toString());
    28. 
 
  28.       while (itr.hasMoreTokens()) {
  
    29. 
 
  29.         word.set(itr.
    30. 


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  喝点药
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
运行wordcount程序报 Input path does not exist 错

				
			

			

				

					u013697028的博客
				

				

					11-02
					
					6899
					
				

			

		

		

			
				
在Windows上部署了hadoop，在执行官网给出的wordcount程序是遇到一下报错，
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input
at org.apache.hadoop.map

			
		

	



                

              
                



	

		

			

				
					
Hadoop eclipse插件安装和在eclipse运行wordcount程序

				
			

			

				

					ZCC的专栏
				

				

					05-27
					
					498
					
				

			

		

		

			
				
一、插件下载点击打开链接
    
      二、插件配置参考:插件配置
      
         三、运行配置: 
   
   四、运行结果

			
		

	



                


  
              

                


	

		

			

				
					
wordcount报错：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:

				
			

			

				

					yangmingtia的博客
				

				

					11-12
					
					3989
					
				

			

		

		

			
				
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://192.168.25.128:9000/export/yang/log.1
    at org.apache.hadoop.mapreduce.lib.i...

			
		

	





	

		

			

				
					
hadoop-2.6.0连接eclipse以及wordcount演示

				
			

			

				

					weixin_44988131的博客
				

				

					12-15
					
					277
					
				

			

		

		

			
				
需要的工具如下：
VMware14.0（hadoop集群）
Hadoop-2.6.0
Eclipse
所需插件：
hadoop-eclipse-plugin-2.6.0.jar
winutils.exe
hadoop.exp
hadoop.dll
hadoop-2.6.0在windows10下安装
1.hadoop-2.6.0解压在任意目录下，然后把winutils.exe,hadoop.exe....

			
		

	



		

			
		



	

		

			

				
					
input.invalidinputexception: input path does not exist

				
			

			

				

					weixin_45143340的博客
				

				

					05-31
					
					704
					
				

			

		

		

			
				
在运行wordcount是出现了上面的问题，文件也在hdfs文件系统上。问题出现在了


			
		

	





	

		

			

				
					
eclipse hadoop插件安装 运行WordCount

				
			

			

				

					06-03
				

			

		

		

			
				
在Eclipse中，你可以创建一个新的MapReduce项目，导入WordCount的源代码，然后使用Hadoop插件将其提交到本地或远程的Hadoop集群进行运行。文档中提供的详细截图应有助于理解每个步骤，包括项目结构、代码编写、配置...

			
		

	





	

		

			

				
					
cygwin+eclipse搭建hadoop开发环境,运行wordcount

				
			

			

				

					09-12
				

			

		

		

			
				
你需要在Eclipse中安装这些插件，然后设置Hadoop的本地或远程运行配置。这涉及到配置HADOOP_HOME环境变量，以及指定Hadoop的namenode和datanode的位置。  "Hadoop环境搭建及wordcount实例运行"文档将带你了解Hadoop...

			
		

	





	

		

			

				
					
eclipse下运行wordcount

				
			

			

				

					10-19
				

			

		

		

			
				
在本文中，我们将深入探讨如何在Windows环境下使用Eclipse IDE远程连接到伪分布式Hadoop集群，并运行经典的WordCount示例程序。WordCount是Hadoop入门的标志性任务，它统计文本中单词出现的次数，这对于理解...

			
		

	





	

		

			

				
					
MR_online_eclipse:hadoop WordCount 演示

				
			

			

				

					07-02
				

			

		

		

			
				
Maven在Eclipse中远程调试hadoop2.6.0项目 1.系统环境 调试：Win7，64bit Cluster: Linux, Centos 2.创建hadoop项目命令 mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org....

			
		

	





	

		

			

				
					
hadoop2.6(x64)Win7上远程调试hadoop 集群

				
			

			

				

					11-13
				

			

		

		

			
				
通过以上步骤，你可以在Windows 7环境下远程调试Hadoop 2.6集群，这对于开发者来说是极其有用的技能，尤其是在处理分布式系统的问题时。了解这些知识点将有助于你更高效地管理和优化Hadoop集群。

			
		

	





	

		

			

				
					
解决Input path does not exist：file://

				
			

			

				

					阿拉修
				

				

					11-19
					
					5929
					
				

			

		

		

			
				
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/data/SogouQ
不知道为什么只识别本地路径，不识别hdfs上的路径
解决办法
hadoop jar HDFS_B19042015-1.0-SNAPSHOT-jar-with-dependencies.jar  hdfs://ubuntu112:9000/data

			
		

	





	

		

			

				
					
win10+Ecplise运行wordcount程序

				
			

			

				

					cafebar123的专栏
				

				

					06-22
					
					822
					
				

			

		

		

			
				
win10+Ecplise运行wordcount程序
（1）hadoop.dll下载
http://download.csdn.net/detail/chenxf10/9621093

			
		

	





	

		

			

				
					
【Cannot start process,the working directory "文件路径" does not exist】错误解决方案

				
			

			

				

					有梦想的小白
				

				

					10-14
					
					2万+
					
				

			

		

		

			
				


错误分析：

根据错误信息提示来看报错原因是路径不存在，所以在运行的时候找不到这个文件，但是项目本身编译并没什么问题，这个时候我们查看Run/Debug Configurations发现如下问题:



Class处报红，说明找不见这个路径，Use classpath of module处并没有选中要执行的module，看到这里可能很多小伙伴就知道问题出在哪里了，原来是我们的运行是module...

			
		

	





	

		

			

				
					
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因

					
热门推荐

				
			

			

				

					wang_zhenwei的博客
				

				

					08-12
					
					3万+
					
				

			

		

		

			
				
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误，
（Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775）

（命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）

			
		

	





	

		

			

				
					
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:

				
			

			

				

					似水流年
				

				

					07-29
					
					3066
					
				

			

		

		

			
				
已验证

一个Hadoop小程序：将Hello world写入文件中，简要代码：


[java] 
view plain 
copy 


public static void main(String[] args) throws Exception {          Configuration conf = new Configuration();          J

			
		

	





	

		

			

				
					
使用Eclipse搭建Hadoop编程环境

				
			

			

				

					Growth Diary
				

				

					03-18
					
					1万+
					
				

			

		

		

			
				
在前人的基础上，进行总结学习，发现bug，修改bug
系统平台：Ubuntu14.04TLS（64位）
Hadoop环境：Hadoop2.7.1
Eclipse：Neon.2 Release(4.6.2)
Eclipse插件：hadoop-eclipse-plugin-2.7.1.jar
一.编译环境搭建
1.在eclipse上安装Hadoop插件
把下载好的hadoop-eclipse-plugin-2.7.1.jar文件拷贝到ecli

			
		

	





	

		

			

				
					
Error running 'HelloWord': Cannot start process, the working directory 'F:\ ' does not exist

				
			

			

				

					weixin_41931749的博客
				

				

					09-28
					
					5930
					
				

			

		

		

			
				
Error running ‘HelloWord’: Cannot start process, the working directory ’ ’ does not exist

Error running ‘HelloWord’: Cannot start process, the working directory ‘F:\workspace\javaproject\pinyougou\wo...

			
		

	





	

		

			

				
					
解决问题:Input path does not exist: hdfs://localhost:9000/input

				
			

			

				

					Sunday2017的博客
				

				

					03-25
					
					2万+
					
				

			

		

		

			
				
问题描述：在hdfs文件系统上没有input文件，接下来我们建一个即可，百度好多都是要使用命令去创建的，还有一个就是在DFS localtion里面直接创建具体：点击，输入input--&gt;ok --&gt;  运行完成...

			
		

	





	

		

			

				
					
在hadoop平台上部署wordcount程序

					
最新发布

				
			

			

				

					06-28
				

			

		

		

			
				
要在Hadoop平台上部署WordCount程序，需要按照以下步骤进行操作：  1. 准备Hadoop环境：安装Hadoop并配置好环境变量。  2. 准备WordCount程序：编写WordCount程序并打包成jar文件。  3. 将输入文件上传到HDFS：使用...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值