mapreduce
y0908105023
开发经验丰富,做开发已经5年,擅长处理爬虫、web、算法。
展开
-
mapreduce倒排序索引
看第一个代码: package Inverse; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.f原创 2013-11-06 16:38:01 · 1551 阅读 · 0 评论 -
mapreduce调试
调试mapreduce与调试hadoop源码不相同,调试hadoop的namenode和一下job可以通过下面这些配置: HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y" #HADOOP_SECONDARYNAMENODE_OPTS="-agentlib:jdwp=原创 2013-11-09 14:34:27 · 1338 阅读 · 0 评论