java编写mapreduce实际应用,Hadoop MapReduce,Java实现问题

目前我正在使用Apache Hadoop(使用Java实现MapReduce作业).我查看了一些示例(如WordCount示例).我在编写自定义mapreduce应用程序(我正在使用Cloudera Hadoop Demo VM)方面取得了成功.我的问题是关于一些实现和运行时问题.

工作类的原型如下：

public class WordCount {

public static class Map extends MapReduceBase implements Mapper {

public void map(LongWritable key, Text value, OutputCollector output, Reporter reporter) throws IOException {

// mapping

}

}

}

public static class Reduce extends MapReduceBase implements Reducer {

public void reduce(Text key, Iterator values, OutputCollector output, Reporter reporter) throws IOException {

// reducing

}

}

public static void main(String[] args) throws Exception {

JobConf conf = new JobConf(WordCount.class);

conf.setJobName("wordcount");

// setting map and reduce classes, and various configs

JobClient.runJob(conf);

}

}

我有一些问题,我试图谷歌他们,但我必须告诉hadoop的文件是非常正式的(像一本大的参考书),不适合初学者.

我的问题：

> Map和Reduce类是否必须是静态内部类

Main类,或者它们可以在任何地方(只能从Main看到？)

>您可以使用Java SE和可用库提供的任何内容,就像在普通的Java SE应用程序中一样吗？我的意思是,像JAXB,Guava,Jackson for JSON等

>编写通用解决方案的最佳做法是什么？我的意思是：我们希望以不同(但略微相似)的方式处理大量日志文件.日志文件的最后一个标记始终是带有一些条目的JSON映射.一个处理可以是：按日志行计数和分组(keyA,来自地图的keyB),另一个可以是：按日志行计数和分组(keyX,来自地图的keyY). (我正在考虑一些基于配置文件的解决方案,您可以在其中提供实际必要的条目,如果您需要新的解决方案,您只需提供配置并运行应用程序).

>可以是相关的：在WordCount示例中,Map和Reduce类是静态内部类,main()对它们没有影响,只是将这些类提供给框架.你能使这些类非静态,提供一些字段和构造函数来改变运行时的一些当前值(比如我提到的配置参数).

也许我在不必要地挖掘细节.整体问题是：hadoop mapreduce程序仍然是我们习惯的普通JavaSE应用程序吗？

解决方法:

这是你的答案.

>只要MapTask / ReduceTask的类加载器能够加载mapper / reducer类,mapper和reducer类就可以在包结构中的任何位置的单独Java类中,也可以在单独的jar文件中.您展示的示例是为Hadoop初学者进行快速测试.

>是的,您可以使用任何Java库.这些第三方jar应该通过hadoop jar命令的-files选项或使用Hadoop API提供给MapTask / ReduceTask.查看此链接here有关将第三方库添加到Map / Reduce类路径的更多信息

>是的,您可以使用这些方法之一配置并将配置传递到Map / Reduce Jobs.

3.1使用如下的org.apache.hadoop.conf.Configuration对象在客户端程序中设置配置(带有main()方法的Java类

配置conf = new Configuration();

conf.set(“config1”,“value1”);

工作职位=新工作(conf,“整个文件输入”);

Map / Reduce程序可以访问Configuration对象,并使用get()方法获取为属性设置的值.如果配置设置很小,建议采用此方法.

3.2使用分布式缓存加载配置并使其在Map / Reduce程序中可用.有关分布式缓存的详细信息,请单击here这种方法更可取.

4. main()是客户端程序,负责配置和提交Hadoop作业.如果未设置任何配置,则将使用默认设置. Mapper类,Reducer类,输入路径,输出路径,输入格式类,减速器数等配置.例如：

另外,请查看有关作业配置的文档here

是的,Map / Reduce程序仍然是JavaSE程序,但是它们分布在Hadoop集群中的机器上.可以说,Hadoop集群有100个节点并提交了单词计数示例. Hadoop框架为每个Map和Reduce任务创建Java进程,并在数据存在的机器子集上调用回调方法,如map()/ reduce().实质上,mapper / reducer代码在数据存在的机器上执行.我建议你阅读The Definitive Guide第6章

我希望这有帮助.

标签：java,hadoop,mapreduce

来源： https://codeday.me/bug/20190520/1142614.html