实习项目之（一）ETL过程的简单手动实现

微博数据ETL

项目角色: 核心研发 开发组人员: 3

工作内容：

通过javase解析、结构化源数据并load到hive数据仓库中，并使用hivesql、数据分析函数进行活跃度、影响力排行等分析工作。

 

一、项目简介：

这个项目是自己在实习期间参与的第一个项目，我们的数据来源于

公司内部的爬虫部门，整个ETL过程是自己手写的UDF函数完成的

涉及到IO读取，正则匹配，以指定格式输出（利用面向对象的思

想，将指定的格式封装成对应的属性的对象，List），我们当时的研

究对象是新浪微博数据的一个主题下的评论区的内容，经过这个过

程呢，格式化就结束了，加载到数据仓库中，这个ETL过程就算初

步OK了。

二、相关内容

 

1.javase部分

解决项目的基层java开发部分的目录要搭建好：

咱们这个里面也是四层Controller、Manager、Pojos、Utils

挨个解决完成所要起到的功能

先从基层搭起来：我们要读文件，那么Utils里必有IOUtil

问题来了，读文件，文件从哪来，从传过来的路径来

那么路径里面的文件呢，所以还要搞一个拿出路径下所有

文件的FileOperatorUtil类

那么就来具体搞一搞看看咋搞这个FileOperatorUtil类

代码奉上：

publ