Hadoop
文章平均质量分 72
mystikk
这个作者很懒,什么都没留下…
展开
-
Hadoop和数据库之间剪不清理还乱的关系(DBOutputFormat)
最近在用Hadoop搭一个小型搜索引擎。因为没有仔细思考,在上面浪费了大量的时间。以下稍微总结下。 先说说数据库。 Hadoop的原配,是HBase。应该说用用这个的话还是非常有学习价值的,但是听说这个还在开发阶段,并且是非关系型数据库,因为我们的Web页面要直接和数据库打交道,因此怕会出问题或是接口不完善,就没用。 如果想和传统的关系型数据库连接的话,有几种方法: 1、用Spooq啥之类原创 2011-11-06 23:43:23 · 1094 阅读 · 0 评论 -
如何在Amazon Elastic MapReduce(EMR)上运行MapReduce程序
这个问题其实是挺简单的,但是网上真的很不好找教程,尤其对于一些细节,就没人说过。估计大家可能也会一次次试验,我试了好多次终于成功,权当初学者一点帮助吧。 第一步自然是去Amazon注册账号。这里给的是EC2的地址,不过一样。 http://aws.amazon.com/ec2/ 现在Amazon提供了很多不同种类的云服务,存储的有S3,就和DropBox一个原理,不过没那么方便易用,主要用原创 2011-12-09 04:22:46 · 3155 阅读 · 4 评论