集群技术
文章平均质量分 78
xqy1522
这个作者很懒,什么都没留下…
展开
-
集群简介
随着信息时代的到来,数据变得越来越重要,在这个信息爆炸的时代,海量数据的处理和运算显的越来来重要。由于大型机的成本太高,目前海量数据处理和大规模运算的首选方案就是集群技术。 集群的定义到底什么是集群?维基百科上集群的定义我再此罚抄一遍:“计算机集群简称集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可原创 2010-04-13 00:36:00 · 738 阅读 · 0 评论 -
Hadoop distcp命令
<br /><br />DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。 <br />使用方法<br />基本使用方法<br />DistCp最常用在集群之间的拷贝:<br />bash$ hado转载 2010-12-16 13:07:00 · 7299 阅读 · 0 评论 -
Ganglia安装
转自:http://share.blog.51cto.com/278008/577554一、所需要软件二、安装过程 1、Ganglia运行平台的安装 2、Ganglia依赖库的安装 3、RRDTool的安装 4、Ganglia的安装 (包括使用yum方式安装)三、简单配置四、启动与访问五、被监控节点上安装Ganglia (包括转载 2012-12-26 16:45:57 · 6037 阅读 · 1 评论