随着计算机网络基础设施的完善,社交网络和电商的发展以及物连网的推进,产生了越来越多的大数据,使得人工智能最近几年也有了长足的发展,大数据的存储和处理也越来越重要,国家对此也比较重视,学习大数据和人工智能的人也越来越多,Hadoop是目前世界上最流行的分布式数据处理框架,是大数据学习必学的框架知识。
初学Hadoop,最基础的也就是HDFS和Mapreduce了,HDFS是一个分布式存储文件系统,Mapreduce是一个分布式计算的框架,两者结合起来,就可以很容易做一些分布式处理任务了。
Hadoop的学习可以从以下几个部分进行学习:
一、Hadoop介绍和环境搭建
1. Hadoop生态环境介绍
2. Hadoop云计算中的位置和关系
3. 国内外Hadoop应用案例介绍
4. Hadoop概念、版本、历史
5. Hadoop核心组成介绍及hdfs、mapreduce体系结构
6. Hadoop独立模式安装和测试