java.lang.Exception:java.util.NoSuchelementException:遍历最后一个值
java.lang.Exception: java.util.NoSuchElementException: iterate past last value
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)
Caused by: java.util.NoSuchElementException: iterate past last value
at org.apache.hadoop.mapreduce.task.ReduceContextImpl$ValueIterator.next(ReduceContextImpl.java:235)
at Farmer_product.Product_Reducer.reduce(Product_Reducer.java:21)
at Farmer_product.Product_Reducer.reduce(Product_Reducer.java:12)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:627)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:319)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
这个问题是我在写MapReduce代码(使用迭代器iterator)的时候遇到的
这个时候需要去看迭代器使用的地方,查看有没有多次使用iterator.next()
当多次使用iterator.next()的时候,用一次这个,元素指针就往下移动到下一个元素身上,如果用了两次,在一次循环中指针就会移动两个元素
我报错的代码:
while(iterator.hasNext())
{
set.add(iterator.next().toString()); //这是在给一个集合中添加元素,这次使用了一次iterator.next(); 元素指针往后移动了一个
list.add(iterator.next().toString()); //这儿的时候我又用了一次iterator.next()元素指针又往后移动了一个元素
//想的把元素用迭代器一个一个传到两个集合来的,结果用两个iterator.next()之后数据不会全部存到集合中(set里面传了第一个,第三个,第五个······等,list里面传了第二个,第四个,第六个···············等)
}
context.write(key,new IntWritable(set.size()));
修改之后的代码:
while(iterator.hasNext())
{
String word =iterator.next().toString(); //在这儿添加一个变量,把iterator.next()的值传给这个变量,不要多次使用iterator.next();
set.add(word);
list.add(word);
}
context.write(key,new IntWritable(set.size()));