Linux下Shell编程实现基于Hadoop的ETL(分析篇)

本人自学Hadoop也有一段时间了，由于最近工作不太忙，想利用业余空闲时间来实现一下基于Hadoop的ETL，不过本人不太清楚别人是怎么实现的，而且网上资料有限，可能会是一个坑，不过感觉和大家分享下，还是有些帮助的，也借此做下笔记。

现在阶段的大数据的ETL主要分为三个阶段：抽取、转换、加载，如图

这三个阶段具体到实际项目中也就是数据的导入、数据的分析以及数据的导出。

数据的导入：一般来说我们操作的数据分为三种：结构化的数据(如mysql等结构化的数据)、半结构化的数据(Mogodb、Hbase等)以及分结构话的数据（如一些日志信息等）；而对于数据的导入就是把这些需要处理的数据从本地磁盘移到Hadoop的HDFS中，以便后续的利用Hadoop的进行大数据的分析;我们一般对于结构化与半结构化数据的导入使用Sqoop工具进行数据的导入，而对于非结构话的数据一般是使用HDFS的命令进行数据的操作；

数据的分析：所谓数据的分析，就是根据项目需要，利用Hadoop的大数据分析的能力对数据进行处理，转换出我们想要的数据，这个阶段对于非结构话的数据的处理一般需要自己编写MapReduce程序，但是对于结构和半结构化的数据我们就不需要那么麻烦了，可以使用Hive进行数据的处理；

数据的导出：这一阶段就是把上一阶段分析的结果，导出到磁盘上数据库中，用于页面展示等用途。这一阶段主要是应用sqoop工具进行数据的导出。

分析到这里，基本上的实现思路也就明了了，我们需要三个核心处理过程，对应于import.sh、hive.sh、export.sh、flow.sh(用于数据处理流程的处理)以及sqoop.sh(用于封装一些sqoop的基本参数和命令，简化导入导出命令)。在这里我们暂时只对结构化数据处理进行分析，其他的数据暂不做分析。在下一篇中我们将进行数据的导入篇。

加群：397706991，共同学习