分布式存储
文章平均质量分 81
cnyygywxf
这个作者很懒,什么都没留下…
展开
-
pig语言
Pig是yahoo捐献给apache的一个项目,目前还在Apache孵化器中,但是基本功能已经可用了.今天我就给大家介绍这个好用的Pig.Pig是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能.Yahoo网格运算部门开发的又一个克隆Google的项目:Sawzall.支持的运原创 2009-11-13 15:03:00 · 2086 阅读 · 0 评论 -
基于GFS思想的分布式文件系统Kosmosfs
自从去年Google 发布了他的几款主要产品gfs,bigtable,map-reduce 的相关文档后,一些牛人就马上行动起来,折腾出来实现类似功能的开源产品了,kfs就是其中之一,主要模仿的是gfs的功能。gfs,bigtable,map-reduce是google产品的三大基石,而这三个产品现在都有了对应的开源实现:gfs:kfs(据传google创始人的同窗所创),hdf转载 2009-11-13 14:53:00 · 732 阅读 · 0 评论 -
Hadoop 安装部署
本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。硬件环境共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间转载 2009-11-13 15:12:00 · 288 阅读 · 0 评论 -
hadoop/hbase 文件配置
1、硬件环境 我们采用了3台机器来构建,都安装的是Ubuntu8.04系统,并且都有一个名为“quan“的帐号,如下: 主机名称:360quan-1 ip:192.168.0.37 功能:NameNode,JobTracker 主机名称:360quan-2 ip:192.168.0.43 功能:DataNo转载 2009-11-13 11:40:00 · 571 阅读 · 0 评论