CDH集群安装&测试总结

---

0.绪论

之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：

当我搭建的过程中，发现这些东西是这样的：

对于初学者来说，我认为缺点如下：

• 1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会有很高含金量？）
• 2.整个集群，我觉的从硬件到软件整体来说还是稳定性有待提高，尤其CDH 集群这块一会这个主机失去联系，一会NameNode挂，一会monitor挂，整个使用过程就是在不断的挂，看日志，挑错。基本离自动化，智能化还有很大距离。

CDH集群测试主要包括以下几个方面的内容：

1.装机（pxe），搭建服务器集群基础环境
2.安装CDH集群，调试集群的健康状况，使集群可用
3.测试集群性能，优化集群，使用测试框架（如Intel的HiBench框架）测试集群性能