Hadoop伪分布式运行实例

Hadoop伪分布式运行实例

1. 打开服务

./sbin/start-dfs.sh

2. 在 HDFS 中创建用户目录

./bin/hdfs dfs -mkdir -p /user/hadoop

3. 将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

4. 将运行结果取回到本地

rm -r ./output    # 先删除本地文件夹
./bin/hdfs dfs -get output ./output     # 将 HDFS 上的文件夹clone下来
cat ./output/*

5. 再次执行需要删除输出目录

./bin/hdfs dfs -rm -r output

6. 关闭服务

./sbin/stop-dfs.sh