hdfs&mapreduce测试

hadoop分为hdfs（海量数据存储）、mapreduce（海量数据分析，分为map和reduce）和yarn（资源调度）三大部分。

hdfs有一个网页，它提供了一个web服务。默认端口是50070。

通过“Browse the file system”可浏览hdfs的文件系统

使用start-all.sh或(start-dfs.sh + start-yarn.sh)命令开启hadoop，此处楼主用了两个节点，主节点为master，从节点为slave1。

找到hadoop的安装路径

然后找到其下的share文件夹，之后一路cd到mapreduce文件夹下

从上图可以看到该文件夹下有一个包含了mapreduce样例程序的jar包，运行一个样例程序pi,计算圆周率，取样数越大，精度越高。

结果如下：