超级会员免费看
本文详细介绍了Hadoop的各个方面，包括Hadoop的概念、使用方法，以及Zookeeper、HDFS、MapReduce、YARN资源调度、Hive的详细知识点。通过学习，读者将对Hadoop有一个全面的理解，包括其核心组件的工作原理和实际应用。
spark在hadoop肩膀上可以让大数据飞的更高。
一、总结
1.概念
Hadoop就是存储海量数据和分析海量数据的工具，是专为离线和大规模数据分析而设计的，其核心部件是HDFS与MapReduce。
HDFS为海量的数据提供了存储。可以理解为一个分布式的，有冗余备份的，可以动态扩展的用来存储大规模数据的大硬盘。
MapReduce为海量的数据提供了计算。可以理解成为一个计算引擎，按照MapReduce的规则编写Map计算/Reduce计算的程序，可以完成计算任务。
2.怎么使用Hadoop
Hadoop集群的搭建
无论是在windows上装几台虚拟机玩Hadoop，还是真实的服务器来玩，说简单点就是把Hadoop的安装包放在每一台服务器上，改改配置，启动就完成了Hadoop集群的搭建。
上传文件到Hadoop集群，实现文件存储
Hadoop集群搭建好以后，可以通过web页面查看集群的情况ÿ
订阅专栏 解锁全文
扫一扫
3357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
