在本地(windowns下)运行mr项目遇到的问题及处理方案

最新推荐文章于 2024-04-22 08:00:00 发布

已转行此号停用

最新推荐文章于 2024-04-22 08:00:00 发布

阅读量267

点赞数

分类专栏：个人技术分享

本文链接：https://blog.csdn.net/qianfeng_dashuju/article/details/105533162

版权

这篇博客主要讲述了在Windows系统下运行MapReduce（MR）项目时可能遇到的问题及解决办法，包括版本不匹配导致的io处理问题、hadoop.dll版本不一致、访问权限错误和找不到hadoop包的空指针异常。博主提供了相应的解决策略，如替换文件、调整环境变量和添加系统属性设置。

摘要由CSDN通过智能技术生成

1.准备windowns版的hadoop,我这里是hadoop2.7.1.(已经对hadoop下的bin和etc目录进行了替换,主要是要bin目录下hadoop.dll和winutils.exe )

2.准备好org/apache/hadoop/io/nativeio.NativeIO.java和org/apache/hadoop/io/YARNRunner.java

1.安装好java的jdk(1.8就行)

2.将hadoop解压后直接放在一个目录下(对于目录最好不要太深,可以在根目录下,hadoop目录,jdk目录最好都不要有空格)

3.给hadoop配置好环境变量

  一、新建一个环境变量
  HADOOP_HOME=D:\hadoop\hadoop-2.7.1
  二、在Path环境变量后面追加：
  %HADOOP_HOME%\bin

4.创建好单机的测试项目

5.将一中2里面的两个.java文件导入项目的eclipse的src或者idea的java下面

1.这里与集群或单机运行没有关系

2.跟使用eclipse和idea没有关系

问题描述:.Exception in thread "main" java.lang

关注

专栏目录