Hadoop大数据平台入门——HDFS和MapReduce

随着硬件水平的不断提高，需要处理数据的大小也越来越大。大家都知道，现在大数据有多火爆，都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。

随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。

google不愧是走在世界前列的大公司，为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。

这个技术给大数据处理带来了巨大的变革。

1.降低了大数据处理的成本，用PC机就可以处理大数据，而不需要采用大型机和高端设备进行存储。

2.将硬件故障视为常态的基础上，采用了软件容错的方法，保证软件的可靠性。

3.简化并行分布式计算，不需要控制节点的同步和数据的交换，降低了大数据处理的门槛。

虽然google的技术非常好，但是google并没有将技术开源。不过值得庆幸的是，模仿google大数据的开源实现，Hadoop的出现了。

Hadoop是什么

Hadoop主要完成两件事，分布式存储和分布式计算。

Hadoop主要由两个核心部分组成：

1.HDFS：分布式文件系统，用来存储海量数据。

2.MapReduce：并行处理框架，实现任务分解和调度。

Hadoop能做什么

Hadoop能完成大数据的存储，处理，分析，统计等业务，在数据挖掘等方面应用广泛。

<