操作系统OS
CentOS 6.5 64位 (http://www.centos.org/) (*****)
Ubuntu Server 12.04 LTS 64位 (http://www.ubuntu.com) (****)
注意选择安装软件包(安装snmp)CentOS要更新源,安装epel
运维工具DevOps
PSSH (http://code.google.com/p/parallel-ssh/) (*****)
Puppet (http://puppetlabs.com/puppet/puppet-open-source) (*****)
MCollective (http://puppetlabs.com/mcollective) (*****)
SaltStack (http://www.saltstack.com/community/) (****)
PSSH必须,建议使用Puppet+MCollective
监控工具
Ganglia (http://ganglia.info/) (*****)
Nagio (http://www.nagios.org/) (****)
Zabbix (http://www.zabbix.com/) (****)
Ganglia和Nagio监控hadoop,Zabbix监控整个软硬件(包括交换机、路由器)
开发工具
Sun Java 7 (http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html)
python 自带
perl 自带
shell 自带
Hadoop软件栈
必需组件Hadoop 2.0、ZooKeeper、HBase、Hive、Pig、 Mahout、Hue
可选组件Flume、 Impala、 Oozie、 Solr、 Sqoop 2
其他大数据软件
Storm (http://www.storm-project.net/)
Spark (http://spark.incubator.apache.org/research.html)
Shark (https://github.com/amplab/shark/wiki)
GraphLab (http://graphlab.org/)