hadoop初识

今天，在像互联网应用、科学数据处理、商业智能数据分析等具有海量数据需求的应用变得越来越普遍时，无论是从科学研究还是从应用开发的角度来看，掌握像google文件系统和mapReduce编程模型这样的技术已成为一种趋势。在这样的背景下，实现了mapReduce编程模型的hadoop开源系统，就成为大家一种自然又合理的选择。


由google公司开发的google文件系统和mapReduce编程模型以其web环境下处理大规模海量数据的特有魅力，在学术界和工业界引起了非同小可的反响。以此为开端，学术界不断涌现出针对海量数据处理、立足于mapReduce的研究成果。而在工业界，大量类似于google文件系统、采用mapReduce编程模型的系统也得到了广泛的部署和应用。


MapReduce的优势：
1）MapReduce采用的是无共享大规模集群系统。集群系统具有良好的性价比和可伸缩性。
2）MapReduce模型简单、易于理解、易于使用。大量数据处理问题，包括很多机器学习和数据挖掘算法，都可以使用MapReduce实现。
3）虽然基本的MapReduce模型只提供一个过程性的编程接口，但在海量数据环境，需要保证可伸缩性的前提下，通过使用合适的查询优化和索引技术，MapReduce仍然能够提供相当好的数据处理性能。


hadoop的内部工作机制非常复杂，依托于一个集分布式系统理论、实际工程和常识于一体的系统。
避开hadoop提供的用于构建分布式系统的工具——用于数据存储、数据分析和协调处理。它们提供了一定层次的抽象——为偶尔有大量数据需要存储的程序员，或有大量数据需要分析的程序员，或者有大量计算机需要管理的程序员，同时却没有足够的时间、技巧或者不想成为分布式系统专家的程序员，提供一套组件使其能够利用hadoop来构建基础平台。