![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式(hadoop)
文章平均质量分 51
Kaiwii
单调,简单
展开
-
Eclipse下伪分布式运行hadoop例子wordcount
其他版本测试均无效:本人使用一下配置,成功运行!eclipse版本:eclipse-jee-europa-winter-linux-gtk.tarHadoop版本:hadoop-0.20.2Linux版本:ubuntu 8 一、安装JDK-6,SSH(略,google一把就是了)原创 2011-07-28 10:18:46 · 3122 阅读 · 0 评论 -
源码:injectedScore()初读
Inject类下的InjectMapper中有一句:try { scfilters.injectedScore(value, datum); } catch (ScoringFilterException e) { i原创 2011-09-04 10:53:10 · 1446 阅读 · 0 评论 -
nutch下的CrawlDatum作用
CrawlDatum:The crawl state of a url记录成功通过substitution和filter的url的所有信息(状态)原创 2011-09-03 11:15:35 · 1679 阅读 · 0 评论 -
dfs namenode format 导致 datenode不能连接上
PROBLEMhadoop@potr134pc26:/usr/local/hadoop/bin$ rm -r/usr/local/hadoop-datastore/----NOW THERE IS NO HADOOP-DATASTORE FOLDER LOCALL原创 2011-08-14 11:04:28 · 1681 阅读 · 0 评论 -
nutch-1.3 分布式terminal操作过程
kaiwii@master:~/nutch-1.2/bin$ ./hadoop namenode -format11/08/13 19:52:20 INFO namenode.NameNode: STARTUP_MSG: /************************原创 2011-08-14 11:13:01 · 1291 阅读 · 0 评论 -
FutureTask.cancel(true)与interrupt()的效果一样
如题。解释见我的另外一个问题博客(stackoverflow)http://stackoverflow.com/questions/7412491/whether-method-cancel-and-method-interrupt-do-the-duplicate-jo原创 2011-09-15 08:01:42 · 4082 阅读 · 1 评论 -
dfs的理解
也许 懂得有些迟了……本来以为只要用stop-all.sh的命令关掉dfs服务等之后,会造成dfs里面数据的丢失。后来想想不会啊,对于本地模式而言,dfs对应的内容不是都保存在本地目录里面么!?所以,对于本地模式的配置,只要你没有format namenode的话,重原创 2011-08-18 08:06:13 · 1022 阅读 · 0 评论