hadoop2.20+hive+sqoop+mysql数据处理案例

一、业务说明

使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。

 

二、为什么使用Hadoop(开发动机)

现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源利用率方面都有一定的缺陷；

 

相比之下使用Hadoop完成数据存储和计算有以下的好处：

（1）高可靠性：Hadoop支持对数据的多副本备份；
（2）高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计    的节点中。
（3）高效性：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快   速。
（4）高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

（5）高资源利用率：管理员可以根据当前服务器的配置，来设置不同的资源调度方案（yarn），做到资源利用最大化。

三、数据处理流程图

 

 

四、类目贡献率案例流程

一、案例业务目标： 

统计2014年12月16日 全天