![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式与并行计算
文章平均质量分 87
dovebs
这个作者很懒,什么都没留下…
展开
-
linux(centos5.8)环境下Hadoop 2.0.2单机部署以及Eclipse环境搭建
Hadoop 2.0.2-alpha单机部署(1)新建hadoop用户以及hadoop用户组首先取得root权限新 $ su -建用户hadoop组 # groupadd hadoop新建用户hadoop,放入hadoop组中,并设置主目录为/home/hadoop # useradd -g hadoop -d /home/原创 2012-11-29 21:16:09 · 7462 阅读 · 11 评论 -
大规模高能效图遍历: 一种高效的数据密集型超级计算方法
Large-Scale Energy-Efficient Graph Traversal: APath to Efficient Data-Intensive Supercomputing作者:Nadathur Satish, Changkyu Kim, Jatin Chhugani, and Pradeep DubeyParallel Computing Lab, Intel Cor翻译 2012-12-16 22:57:14 · 8349 阅读 · 0 评论 -
【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
最近配了一个单机版的hadoop1.0.4,参考官方网址:http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html配完后使用jps查看,发现总是有一些没有启动,非常郁闷,在多番研究后发现有两个原因,一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除,二个是因为端口被占用了解决方法:一.删除/tmp下的所有文件原创 2012-12-13 22:02:00 · 20975 阅读 · 3 评论 -
【hadoop】大规模中文网站聚类kmeans的mapreduce实现(下)
接上一篇,上一篇主要是计算tfidf,下篇主要是文档向量的建立以及kmeas的实现。四 网页向量以及初始中心点选取 网页向量以及初始中心点的选取在 DocumentVetorBuid 中的一个 Mapreduce 中完成,中间过程如下表所示。 输出类似如下:16 26272:0.00587873/22456:0.00264058/22502:0.0原创 2013-02-24 11:15:04 · 7613 阅读 · 6 评论