- 博客(2)
- 收藏
- 关注
RSS订阅原创 分布式集群中的硬件选择
一、背景 最近2个月时间一直在一个阴暗的地下室的角落里工作，主要内容就是hadoop相关的应用。在这期间，Hadoop的应用确实得到认可，但是同时也带来了一些问题，软件方面我就不在这里说了，只说说一些物理方面的局限： 1、众所周知，hadoop能够接受任何类型的机器加入集群，在多不在精。但是这带来一个问题，机房的空间开销以及电费。 2、机器太多，人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。 刚好，在这个问题产生的同时，十分幸运的被一同事叫出来，去参加一个会议，得以有机会走上地面。
2010-12-21 10:30:00
3068
3
原创 Map/Reduce的内存使用设置
一、背景 今天采用10台异构的机器做测试，对500G的数据进行运算分析，业务比较简单，集群机器的结构如下： A：双核CPU×1、500G硬盘×1，内存2G×1（Slaver），5台 B：四核CPU×2、500G硬盘×2，内存4G×2（Slaver），4台 C：四核CPU×2、500G硬盘×2，内存4G×8（Master），1台 软件采用Hadoop 0.20.2，Linux操作系统。 二、过程 1、制造了500G的数据存放到集群中。 2、修改配置，主要是并发
2010-12-15 15:27:00
6711
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人