(1)HDFS实现google的文件系统
(2)并实现google的mapreduce系统。
作为Hadoop程序员,他要做的事情就是:
1、定义Mapper,处理输入的Key-Value对,输出中间结果。
2、定义Reducer,可选,对中间结果进行规约,输出最终结果。
3、定义InputFormat 和OutputFormat,可选,InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用,不定义时默认为String。
4、定义main函数,在里面定义一个Job并运行它。
Hadoop的作用:
完成分布式运算。
如:统计大量的日志。
是否可以根据mapreduce的逻辑完成分布式搜索?