随机写例子把 10G(默认)的数据随机的写到dfs中利用 Map/Reduce
每个map输入单个文件名,然后随机写BytesWritable的键和值到DFS顺序文件。map没有产生任何输出,所以reduce没有执行。
产生的数据是可以配置的。配置变量如下
名字 | 默认值 | 描述 |
test.randomwriter.maps_per_host | 10 | Number of maps/host |
test.randomwrite.bytes_per_map | 1073741824 | Number of bytes written/map |
test.randomwrite.min_key | 10 | minimum size of the key in bytes |
test.randomwrite.max_key | 1000 | maximum size of the key in bytes |
test.randomwrite.min_value | 0 | minimum size of the value |
test.randomwrite.max_value | 20000 | maximum size of the value |
这个例子使用了一个很有用的模式来处理Hadoop对于InputSplits的 限制。每个输入块只能由一个文件和一个字节范围组成,我们需要控制有多少个maps(我们并没有真正的任何输入),我们创建一个目录,目录下面有一些人为 创建的文件,每一个文件都有一个文件名,这个文件名是我们希望map写入的那个文件名。然后,用text line reader和这个假造的输入目录,我们能够产生刚好数量的maps。每个map取得一个对应于文件名的记录,这个文件名是输出产生的目的地。
要运行这个程序,命令行语法为bin/hadoop jar hadoop-*-examples.jar randomwriter <out-dir> [<configuration file>]
代码实例:
参考地址:
http://www.cnblogs.com/xwdreamer/archive/2011/10/17/2296957.html
http://www.hadooper.cn/dct/page/65778
相关命令:
./hadoop-1.2.1/bin/hadoop dfs -rmr output
./hadoop-1.2.1/bin/hadoop dfs -put ~/wordcount_file/* input
./hadoop-1.2.1/bin/hadoop jar ~/wordcount.jar WordCount input output
./hadoop-1.2.1/bin/hadoop dfs -get output/ ./
hadoop dfsadmin -safemode leave
#这个地方使用数字就可以了,而不是乘法,将1024*1024改为1048576,改成100M
./bin/hadoop jar hadoop-examples-1.2.1.jar randomwriter -D test.randomwriter.maps_per_host=1 -D test.randomwrite.bytes_per_map=104857600 fan/rand
./bin/hadoop fs -ls fan/rand
./bin/hadoop jar hadoop-examples-1.2.1.jar sort fan/rand rand-sort
./hadoop-1.2.1/bin/hadoop dfs -put ~/wordcount_file/* input
./hadoop-1.2.1/bin/hadoop jar ~/wordcount.jar WordCount input output
./hadoop-1.2.1/bin/hadoop dfs -get output/ ./
hadoop dfsadmin -safemode leave
#这个地方使用数字就可以了,而不是乘法,将1024*1024改为1048576,改成100M
./bin/hadoop jar hadoop-examples-1.2.1.jar randomwriter -D test.randomwriter.maps_per_host=1 -D test.randomwrite.bytes_per_map=104857600 fan/rand
./bin/hadoop fs -ls fan/rand
./bin/hadoop jar hadoop-examples-1.2.1.jar sort fan/rand rand-sort