java.lang.OutOfMemoryError: Java heap space
堆栈溢出,就是处理的内存大于了hadoop设置的内存大小,可以设置map和reduce的内存大小
conf.set("mapreduce.map.memory.mb","512");
conf.set("mapreduce.reduce.memory.mb","512");
Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.LongWritable
key的类型不匹配,要求的事Text类型,传入的是LongWritable类型,Map和Reduce的输入输出类型有错误,不匹配
java.lang.Exception: java.lang.NullPointerException
空指针异常,是因为我在Bean中的属性重写了序列化和反序列化方法,而在Map阶段,我并没有将全部的属性赋值到对象中,所以导致了序列化每一个属性时出现空值,就是抛出空指针异常
FileAlreadyExistsException: Output directory file:/D:/AAUser/dic/Files/testFile1 already exists
文件夹已存在,可以重新换名字进行运行
Map和Reduce之间使用“,”分隔
conf.set("mapred.textoutputformat.separator", ",");