mapred
azhao_dn
关注hadoop 数据挖掘
展开
-
在mapred程序中调用pymongo遇上的问题
在测试mapred程序中连接mongodb时(python streaming作业),mapred程序抛出了错误Traceback (most recent call last): File "/data3/hadoop/mapred/mrlocal/taskTracker/hadoop/jobcache/job_201201040946_65346/attempt_20120104094原创 2012-02-15 18:41:49 · 2313 阅读 · 0 评论 -
用Map/Reduce来做好友推荐
查看原文Posted by 颜开SNS网站都有一个功能,就是好友推荐(或者Follower推荐)。例如,在人人网上出现的“你可能认识的人”。怎么来实现呢,有一个很简单的办法。如果小刚和小明不是好友,但是他们有很多的共同好友。那么可以认为,A和B很可能相识。从图论的讲法上看,就是先列出一个人(记为小A)的所有朋友的朋友,在寻找小A和这些人之间有多少长度为2的通路。将这些通路数排序,寻转载 2012-06-07 18:32:08 · 1995 阅读 · 0 评论 -
mapred streaming 脚本输出运行状态导致的奇怪问题
今天在调试mapred streaming脚本时,发生了非常奇怪的问题:mapred脚本在被tasktracker调用后总是会随机的失败,错误信息如下:java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(Pi原创 2012-06-13 15:46:19 · 3080 阅读 · 1 评论 -
hadoop运维记录之二:tasktracker启动后”假死“
由于hadoop集群中某台服务器磁盘损坏,导致该服务器tasktracker 任务失败率大增(失败原因:分配到该服务器的任务的临时目录选择了损坏的磁盘,导致job初始化是失败),所以决定将坏的磁盘从tasktracker中的mapred本地目录中删除,然后重启tasktracker。 操作步骤如下: 1)修改完mapred-site.xml配置文件;原创 2012-05-30 15:09:48 · 3863 阅读 · 1 评论 -
使用java开发mapred时遇上的奇怪问题
1)错误代码:输入文件的key class 为LongWritable ,和Text 不匹配 错误原因:最初设定程序的输入文件为sequence file ,生成的测试数据 为 text file,而 text file 的key 为该行的偏移量,为LongWritable2)错误代码:Text 不能转化为 LongWritable 错误原因:在初始化mapred原创 2012-11-29 16:59:46 · 4772 阅读 · 1 评论