[mapReduce]:Eclipse hadoop远程环境搭建

最新推荐文章于 2020-01-04 19:40:50 发布

ALDNOAH_ZERO

最新推荐文章于 2020-01-04 19:40:50 发布

阅读量1k

点赞数

分类专栏：云计算文章标签： mapreduce hadoop eclipse eclipse插件

本文链接：https://blog.csdn.net/ALDNOAH_ZERO/article/details/53090222

版权

云计算专栏收录该内容

1 篇文章 0 订阅

订阅专栏

工具:Eclipse Mars2.2 hadoop-2.6.0

下载:eclipse插件hadoop-eclipse-plugin-2.6.0.jar并放至eclipse安装目录/plugins下，重启eclipse,在window->preferences中就会出现hadoop map/reduce插件。

将hadoop-2.6.0解压出来，并设置Hadoop installation directory为hadoop解压的目录

之后会出现

右键New hadoop location...

左边是datanode的端口号,右边是Hdfs的端口号,均与云计算实验一致。

连接VPN，到这里基本已经可以了,

会出现熟悉的文件夹

若出现用户权限问题，则进行环境变量的更改：

此电脑->属性->高级系统设置->环境变量

在用户变量

添加HADOOP_HOME,值为hadoop的安装(解压)路径

添加HADOOP_USER_NAME值为登录节点使用的账号(默认hadoop)

在系统变量

Path中添加$HADOOP_HOME/bin

==============================分割线==============================

新建mapreduce项目后可能还会出现问题:

比如报log4j的warning,解决方法:添加log4j.properties文件到项目的src目录下

文件内容:

# Configure logging for testing: optionally with log file
log4j.rootLogger=WARN, stdout
# log4j.rootLogger=WARN, stdout, logfile

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

可能会报winutls.exe的错误，是因为hadoop缺少win的dll

github链接

下载解压至hadoop安装目录/bin下

若遇到

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)

可参考http://www.itnose.net/detail/6140732.html,添加环境变量