千锋大数据老师学习Hadoop历程

    我是刚刚毕业的大学生，找本专业的工作很久了也没有什么合适的，听朋友说大数据现在就业还是很好的，后来就想学习大数据，当一名IT男。有了目标，采用大事化小的方法去学习 hadoop 。下面开始叙述我是如何初学 hadoop 的。

　　Hadoop 学习两步走 :linux 学习、 hadoop 学习。

　　在接触 hadoop 之前我有 java 基础，为此我的计划是首先学习 Linux, 然后学习 hadoop 生态系统 , 为此学习 hadoop 第一步计划就是学习 linux 了，然后 linux 又可以分为四个步骤走。

　　linux 任务第一个目标就是要熟练操作 linux 常用命令以及网络配置;

　　第二个目标就是熟悉用户以及权限管理操作;

　　第三个目标就是熟悉软件包以及系统命令管理，第四个就是要学习 shell 编程了。

　　Linux 系统学习完毕之后，紧接着就是第二个计划了学习 Hadoop 。

　　Hadoop 阶段分两步走 。

　　第一阶段能熟练搭建伪分布式集群以及完全分布式集群，我个人认为先搭建 hadoop环境然后再学习 hadoop 这样效果更好。就如同看别人代码一样，我们先把别人代码能跑起来，然后再分析代码，如果代码都跑不起来，何谈代码分析，所以先让 hadoop环境搭建起来，能正常运行 wordcount 程序，我们才能慢慢分析整个 Hadoop 生态系统，这样我们能对 hadoop 有个整体上的认识。

　　Hadoop 第二阶段就是基于第一阶段的基础上，再细分几大阶段：

　　首先第一阶段整体上认识 hadoop 生态系统，了解 MapReduce 分布式计算框架、 Yarn 集群资源管理和调度平台、 hdfs 分布式文件系统、 hive 数据仓库、 HBase 实时分布式数据库、 Flume 日志收集工具、 sqoop 数据库 ETL 工具、 zookeeper 分布式协作服务、 Mahout 数据挖掘库;

　　第二阶段学习 MapReduce,MapReduce 作为 hadoop 核心内容，要先易后难，首先了解 Mapper 、 Reducer 、 Configuration 、 job 等这些类，熟悉 MapReduce 流程图，然后写简单的单词统计代码，整体上对 MapReduce 认识，之后学习 MapReduce 运行机制，熟练掌握， MapReduce 输入格式， MapReduce 输出格式，以及 MapReduce 优化;

　　第三阶段学习 hadoop 另一个核心内容 HDFS ，首先明白什么是 hdfs, 然后再分析 hdfs 的优点，然后再了解 Hdfs 的缺点有哪些， HDFS 是如何存储数据的，采用什么样的架构，我们如何实现读取和写入 HDFS 中的文件，以及了解 HDFS 副本存放策略，同时熟练掌握 HDFS 的 shell 访问和 java 访问。

　　第三阶段就是学习 hadoop 另一个核心内容 :Yarn, 首先我们要了解 Yarn 是什么，为什么使用 Yarn ， Yarn 的构架， Yarn 的原理。我个人认为， hadoop 初学者只要掌握了提供海量数据存储的 HDFS ，分布式计算的 MapReduce, 以及集群资源管理和调度平台的 yarn ，基本上也就掌握了 Hadoop 最核心的东西，也为以后的 hbase 、 hive 学习打下了坚实的基础。

　　想要了解更多关于Hadoop的学习信息，请关注千锋教育官网、微信等平台，千锋教育IT职业教育平台为您提供权威的大数据Hadoop培训课程和视频教程系统，让你快速掌握Hadoop从入门到精通大数据开发实战技能。