spark在hadoop肩膀上可以让大数据飞的更高。
一、总结
1.概念
Hadoop就是存储海量数据和分析海量数据的工具,是专为离线和大规模数据分析而设计的,其核心部件是HDFS与MapReduce。
HDFS为海量的数据提供了存储。可以理解为一个分布式的,有冗余备份的,可以动态扩展的用来存储大规模数据的大硬盘。
MapReduce为海量的数据提供了计算。可以理解成为一个计算引擎,按照MapReduce的规则编写Map计算/Reduce计算的程序,可以完成计算任务。
2.怎么使用Hadoop
Hadoop集群的搭建
无论是在windows上装几台虚拟机玩Hadoop,还是真实的服务器来玩,说简单点就是把Hadoop的安装包放在每一台服务器上,改改配置,启动就完成了Hadoop集群的搭建。
上传文件到Hadoop集群,实现文件存储
Hadoop集群搭建好以后,可以通过web页面查看集群的情况ÿ