Hadoop伪分布式配置

1.修改配置文件 core-site.xml

2.修改配置文件 hdfs-site.xml

3.出现“successfully formatted” 和 “Exitting with status 0” 即成功。

4.开启 NameNode 和 DataNode 守护进程；

启动完成后，通过命令 jps 来判断是否成功启动

5.访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息

6.运行Hadoop伪分布式:

在 HDFS 中创建用户目录:

./bin/hdfs dfs -mkdir -p /user/hadoop

将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

查看文件列表

./bin/hdfs dfs -ls input

运行 MapReduce 作业:

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果

./bin/hdfs dfs -cat output/*

将运行结果取回到本地