hadoop(3)--测试hdfs和mr

原本订的最少两天一篇就要坚持，又到半夜12点了，才想起来要写一点东西，在这个时候能体会到阿里为什么要做一个技术公司了，回报社会，每个人都有这么一个阶段。废话少说，开始开车。

今天的东西很简单就是测试之前搭建的hdfs和mr

1,首先保证start-dfs.sh和start-yarn.sh这两个脚本执行成功，这个是前提

2，先从直观上认识一下hdfs，hdfs提供了一个网站可以看http://my01:50070

这个就是

点击上图按钮

点击上图按钮之后，

这里就可以看hdfs上面的东西了，好的，我们上传一个文件到hdfs上去

我将hadoop的安装包上传上去，好，到页面上看一下

刚刚上传的就成功了，这里有几个名词需要说明一下，size这个文件的大小，replication备份数量，之前配置的是1，block size这个块大小，这个版本默认128M,2.0之前默认64M,这样可以看出了一个hadoop-2.4.2.tar.gz被分成了两个块，这里多一句，谁分的呢？先告诉答案：客户端自己分的，不是hdfs分的，为什么，之后会说到

2，测试mr

hadoop安装包中有例子，这个是做程序的一个基本的意识

就在这个目录下面

运行一个pi，就是3.1415926这个东西

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 6

解释一下上面那就命令 5--5个map

6---取样数量 取样越多执行的越接近

执行结果是3.6明显差距很大，把取样数改大看看

hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 10

明显接近了，好了，今天就到这里了，今天早早睡了

望指正，不吝赐教