首先进行Hadoop配置:
1、conf/hadoop-env.sh文件中最基本需要指定JAVA_HOME,例如我的如下:export JAVA_HOME="D:\Program Files\Java\jdk1.6.0_07"
如果路径中存在空格,需要使用双引号。
2、只需要修改conf/hadoop-site.xml文件即可,默认情况下,hadoop-site.xml并没有被配置,如果是基于单机运行,就会按照hadoop-default.xml中的基本配置选项执行任务。
将hadoop-site.xml文件修改为如下所示:<?xml version="1.0"?>
fs.default.name
localhost:9000
mapred.job.tracker
localhost:9001
dfs.replication
1
实现过程
1、认证配置
启动cygwin,同时使用下面的命令启动ssh:$ net start sshd
如图所示:
file:///C:/DOCUME~1/Scidets/LOCALS~1/Temp/ksohtml/wps_clip_image-4784.png
接着,需要对身份加密认证这一部分进行配置,这也是非常关键的,因为基于分布式的多个Datanode结点需要向Namenode提供任务执行报告信息,如果每次访问Namenode结点都需要密码验证的话就麻烦了,当然我要说的就是基于无密码认证的方式的配置,可以参考我的其他文章。
生成RSA公钥的命令如下ÿ