微博数据ETL
项目角色: 核心研发 开发组人员: 3
工作内容:
通过javase解析、结构化源数据并load到hive数据仓库中,并使用hivesql、数据分析函数进行活跃度、影响力排行等分析工作。
一、项目简介:
这个项目是自己在实习期间参与的第一个项目,我们的数据来源于
公司内部的爬虫部门,整个ETL过程是自己手写的UDF函数完成的
涉及到IO读取,正则匹配,以指定格式输出(利用面向对象的思
想,将指定的格式封装成对应的属性的对象,List),我们当时的研
究对象是新浪微博数据的一个主题下的评论区的内容,经过这个过
程呢,格式化就结束了,加载到数据仓库中,这个ETL过程就算初
步OK了。
二、相关内容
1.javase部分
解决项目的基层java开发部分的目录要搭建好:
咱们这个里面也是四层Controller、Manager、Pojos、Utils
挨个解决完成所要起到的功能
先从基层搭起来:我们要读文件,那么Utils里必有IOUtil
问题来了,读文件,文件从哪来,从传过来的路径来
那么路径里面的文件呢,所以还要搞一个拿出路径下所有
文件的FileOperatorUtil类
那么就来具体搞一搞看看咋搞这个FileOperatorUtil类
代码奉上:
publ