基于Hadoop的大数据方案越来越多地被企业所采用。但是,如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户,他们在给Hadoop配置硬件的时候,通常没有考虑到对大数据处理的特性,造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括:
- 数据节点的CPU和内存配置很高,但磁盘数量很少(少于6块磁盘)
- 按容量考虑而选择单盘容量非常大的磁盘(大于8TB),但磁盘数量偏少
- 数据接收速度和查询性能要求高,但配置的是1GbE网络
- 高可用性要求高场景下管理节点和数据节点混合在一起,或者管理节点数量偏少(少于4个)
本文通过三种不同场景的Hadoop集群方案,对其配置进行说明以便为用户提供参考。
方案一:低成本的互联网分析(IA)
该方案是为互联网分析(Internet Analysis,缩写成IA)或一般非结构化数据处理而设计的Hadoop集群,具有以下特点:
支持非结构化数据的接收和分析
- WebServer日志文件,点击流量,Twitter或Facebook的流入
- 支持使用DataClick、BigInsights或Scoop进行数据注入
- 运行Map/Reduce作业
数据的临时存储或轻量存储的要求
- 432 TB 裸存储
- 超过100 TB 可用存储空间(数据非压缩)
- 灵活的压缩选项(文件格式类型)
1 Gb 以太网数据网络
- 结合数据和管理网络
- 单独的监控网络支持xCat
可靠的硬件,无需硬件冗余的成本
- HDFS数据复制机制实现数据保护
- 支持xCat快速部署
方案二:通用型的数据落地区或数据湖(LZ)
该方案是为通用型的数据落地区(Landing Zone,缩写成LZ)或数据湖而设计,主要特点如下:
非结构化数据的快速接收、分析和存储
- ETL 工作负载,包括 DataStage, Informatica
- DataClick, BigInsights Console 和Scoop
- 运行Map/Reduce 和Hive作业
- 每GB数据的成本低且数据完全保护
数据的长期存储和企业级的保护
- 每个机架1.344 PB裸存储!
- 超过400 TB 可用存储空间(数据非压缩)
- 压缩和加密选项
- 灵活的存储框架 – HDFS 或GPFS
灵活的网络和安全选项
- 完全冗余的路由或私有网络
- 10/40 Gb 混合的以太网数据网络
基于硬件和软件冗余的可靠构造
- OS、电源、网络和Name Node服务
- HDFS数据复制机制实现数据保护
方案三:强大的NoSQL或复杂分析(NS/CA)
该方案支持NoSQL或复杂分析(Complex Analysis),对可靠性、性能等要求比前面两个方案更高。它具有以下特点:
非结构化数据的快速接收、分析和查询
- 使用BigSQL代替DW & RDBMS
- Hbase, Accumulo, Hive 和 Map/Reduce 作业
- BigR, R 或SPSS数据挖掘
- 每GB数据的成本低且数据完全保护
数据的长期存储和企业级的保护
- 每个机架896 TB裸存储!
- 超过300 TB 可用存储空间(数据非压缩)
- 压缩和加密选项
- 灵活的存储框架 – HDFS 或GPFS
灵活的网络和安全选项
- 完全冗余的路由或私有网络
- 10/40 Gb 混合的以太网数据网络
基于硬件和软件冗余的可靠构造
- OS、电源、网络和Name Node服务
- HDFS数据复制机制实现数据保护
根据不同的方案类型,IBM建议的配置参考如下:
集群总体指标
数据节点详细指标
管理节点详细指标
网络详细指标
结束语
上述内容是IBM根据实践经验推荐的配置参考模型,用户在实践使用时可以数据量进行增删数据节点,服务器和网络设备也可用换成类似性能其它厂商的产品。