大数据技术之学习hadoop需要具备的基础知识

首先整体上了解Hadoop，包括hadoop是什么，能够做什么，使用场景等，不需要考虑细节问题。在有了整体上的了解后，就开始准备系统地学习hadoop。科多大数据给大家一个小建议：勿一味学习理论知识，要注意理论与实践相结合。在实际操作中查缺补漏，提高针对性、目的性。

推荐一个大数据学习群 119599574每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，

总的来说，学习hadoop需要具备：

linux

1、熟练操作linux常用命令以及网络配置；

2、熟悉用户以及权限管理操作；

3、熟悉软件包以及系统命令管理；

4、学习shell编程。

java 1、具备javaSE基础知识；

2、暂时不需要java Web及各种框架知识。

虚拟机

1、搭建虚拟机；

2、安装linux操作系统；

3、配置虚拟机网络。

hadoop

1、了解hadoop搭建的三种方式（单机模式、伪分布模式和分布式模式）；

2、掌握搭建伪分布式以及完全分布式集群；

3、认识hadoop生态系统，了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等；

4、学习MapReduce。MapReduce作为hadoop核心内容，要先易后难，首先了解Mapper、Reducer、Configuration、job等这些类，熟悉MapReduce流程图，然后写简单的单词统计代码，整体上对MapReduce认识，之后学习MapReduce运行机制，熟练掌握MapReduce输入格式，MapReduce输出格式，以及MapReduce优化；

5、学习hadoop另一个核心内容HDFS。首先明白什么是hdfs，然后再分析hdfs的优点，然后再了解Hdfs的缺点有哪些，HDFS是如何存储数据的，采用什么样的架构，我们如何实现读取和写入HDFS中的文件，以及了解HDFS副本存放策略，同时熟练掌握HDFS的shell访问和java访问；

6、学习hadoop另一个核心内容Yarn。首先要了解Yarn是什么，为什么使用Yarn，Yarn的构架，Yarn的原理。