关于MapReduce

1.所有数据都需要输出 的情况  , Reduce的个数设置为0

特定数据抽取对于Hadoop来说是非常简单的，对于所有数据都需要输出 的情况，直接在Map中将日志解析出的结果中需要的字段进行输出就可以 了。而对于只需要输出满足特定条件的数据，则需要在程序启动之时将这些条 中需要的数值或者某些变量等添加到Hadoop启动的任务参数的配置中，而在Map启动之前，在其Configure函数中解析出这些参数，并将这些参数存储在 全局变量中以便在Map中使用这些数值。在之后的Map操作中，只需要将满 足该要求的数据进行输出即可。这种操作可以不使用Reduce操作，直接让 Map输出最终结果即可，最简单的实现方法就是将Reduce的个数设置为0。 Hadoop就会将Map的输出作为最终的结果进行输出。

2.yarn运行程序是提示running in uber mode : false

-->Hadoop的小作业模式， 数据量小非常节约时间 3.python里，输入为csv文件的reduce输出不正确： 今天把一个列表转换成字符串输出的时候出现了UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)问题，使用的是ulipad编译器。   解决方法1： 在开头加上 import sys reload(sys) sys.setdefaultencoding( "utf-8" )   解决方法2： 使用cmd运行python程序，能正常显示结果