1.我们要掌握Linux的安装及基本操作、Python安装及编程基础、java基础。
需要学习Linux的常用命令、基本网络配置、进程管理、shell语法;Python的常用语法,能够基于Python搭建一个常用的Server服务器和java的基础知识。
这时候只需要掌握基础即可,后边遇到问题再学习,这样才不会混乱,学的才扎实。
2.搭建Hadoop分布式环境
我们要做的是在自己的电脑上安装Linux,然后准备环境nat配置,搭建Hadoop集群先让Hadoop在自己的电脑上跑起来。使用VMware来搭建。
这时候我们会Host配置、IP配置、SSH免密登录等。
3.学习HDFS分布式文件系统
这一步要学习架构分析、容灾容错策略、local数据策略、数据块概念、机架感应,功能逻辑实现等。要真正的去敲敲,掌握Linux下HDFSShell常用命令的使用。
4.学习MapReduce计算框架
MapReduce是Hadoop核心编程模型。在Hadoop中,数据处理核心就是MapReduce程序设计模型。这一步需要学的东西很多,大家一定要有耐心,把MR的知识学牢固。
首先我们需要学习MR的基本原理、任务执行流程、Shuffle策略。自己动手写一个MR任务,来实现wordcount。然后要学习表单join、表单查询、数据清洗、全局排序、多目录输入输出、自定义partition分区,掌握二分法算法。
接下来学习自然语言处理方法(NLP),掌握如何提取关键词,TF-IDF算法。这里我们可以实践一下,统计文本中的词频。
学习中文分词,分词的质量直接影响数据挖掘的质量。
5.学习Strom流式计算
Storm是一个开源分布式实时计算系统,它可以实时可靠地处理流数据。
这一步我们要