ETL微博数据分析流程

一，ELT的概念
ETL是英文Extract-trans-Load 的缩写 ，用来描述将数据从来源端经过抽取(extract),交互转换（transform),加载(load)至目的端的过程。
二，项目思路
1.获取原始数据文件
2.将数据文件解析成数据对象
3.数据对象序列化到输出数据文件中
4.Hive过程-
规范四个步骤
1)config 存放配置文件
2)create 创建表脚本
3)udf 存放jar包
4)deal 存放实际业务代码
1.创建表-- user 和Content
2.加载数据到user和content
三，项目分析
1，源数据文件 – 数据格式
查看我们爬取的微博数据格式：user和content
2.写java代码,进行结构化
1.对文件的操作，需要IO；流读写，可能会对日期进行处理，需要解析xml格式文件
2.需要将数据文件结构化成pojo对象：
user文件 – 创建UserInfo类
Content文件 – 创建Contentinfo
3.数据进行结构化，需要管理结构化的流程：
DataLoadManager类:提供多个方法，按步骤进行格式化
读取文件 -> 解析成user对象或content对象
结构化写入到输出文件中
4.提供一个系统控制类,方便统一开启任务执行。
systemController类 – 开关类
3.生成输出文件，加载到hive表中
编写脚本
严格遵循项目规范
4.jar包开发