hdfs的实验总结_Hadoop实验总结

首先进行Hadoop配置：

1、conf/hadoop-env.sh文件中最基本需要指定JAVA_HOME，例如我的如下：export JAVA_HOME="D:\Program Files\Java\jdk1.6.0_07"

如果路径中存在空格，需要使用双引号。

2、只需要修改conf/hadoop-site.xml文件即可，默认情况下，hadoop-site.xml并没有被配置，如果是基于单机运行，就会按照hadoop-default.xml中的基本配置选项执行任务。

将hadoop-site.xml文件修改为如下所示：<?xml version="1.0"?>

fs.default.name

localhost:9000

mapred.job.tracker

localhost:9001

dfs.replication

1

实现过程

1、认证配置

启动cygwin，同时使用下面的命令启动ssh：$ net start sshd

如图所示：

file:///C:/DOCUME~1/Scidets/LOCALS~1/Temp/ksohtml/wps_clip_image-4784.png

接着，需要对身份加密认证这一部分进行配置，这也是非常关键的，因为基于分布式的多个Datanode结点需要向Namenode提供任务执行报告信息，如果每次访问Namenode结点都需要密码验证的话就麻烦了，当然我要说的就是基于无密码认证的方式的配置，可以参考我的其他文章。

生成RSA公钥的命令如下ÿ