Hadoop大数据平台入门——HDFS和MapReduce

随着硬件水平的不断提高，需要处理数据的大小也越来越大。大家都知道，现在大数据有多火爆，都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。

 

随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。

google不愧是走在世界前列的大公司，为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。

这个技术给大数据处理带来了巨大的变革。

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份2019最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。
 

1.降低了大数据处理的成本，用PC机就可以处理大数据，而不需要采用大型机和高端设备进行存储。

2.将硬件故障视为常态的基础上，采用了软件容错的方法，保证软件的可靠性。

3.简化并行分布式计算，不需要控制节点的同步和数据的交换，降低了大数据处理的门槛。

虽然google的技术非常好，但是google并没有将技术开源。不过值得庆幸的是，模仿google大数据的开源实现，Hadoop的出现