Cubieboard hadoop 集群
hadoop是一个开源分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高 速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Cubieboard A10 节点
配置信息:
选取8块Cubieboard A10 作为集群的节点硬件,1个master节点,其他7个作为slave节点。
- 1G ARM cortex-A8 processor, NEON, VFPv3, 256KB L2 cache
- Mali400, OpenGL ES GPU
- 512M/1GB DDR3 @480MHz
- HDMI 1080p Output
- 10/100M Ethernet
- 4GB Nand Flash
- 2 USB Host, 1 micro SD slot, 1 SATA, 1 ir
- 96 extend pin including I2C, SPI, RGB/LVDS, CSI/TS, FM-IN, ADC, CVBS, VGA, SPDIF-OUT, R-TP..
- Running Android, Ubuntu and other Linux distributions
Hadoop HDFS
一个低功耗低成本的的服务器基本搭建完成,可以利用HDFS文件系统存储,Map-reduce 计算。由于篇幅有限,搭建的具体细节可以在Cubieboard中文论坛找到。