一,ELT的概念
ETL是英文Extract-trans-Load 的缩写 ,用来描述将数据从来源端经过抽取(extract),交互转换(transform),加载(load)至目的端的过程。
二,项目思路
1.获取原始数据文件
2.将数据文件解析成数据对象
3.数据对象序列化到输出数据文件中
4.Hive过程-
规范四个步骤
1)config 存放配置文件
2)create 创建表脚本
3)udf 存放jar包
4)deal 存放实际业务代码
1.创建表-- user 和Content
2.加载数据到user和content
三,项目分析
1,源数据文件 – 数据格式
查看我们爬取的微博数据格式:user和content
2.写java代码,进行结构化
1.对文件的操作,需要IO;流读写,可能会对日期进行处理,需要解析xml格式文件
2.需要将数据文件结构化成pojo对象:
user文件 – 创建UserInfo类
Content文件 – 创建Contentinfo
3.数据进行结构化,需要管理结构化的流程:
DataLoadManager类:提供多个方法,按步骤进行格式化
读取文件 -> 解析成user对象或content对象
结构化写入到输出文件中
4.提供一个系统控制类,方便统一开启任务执行。
systemController类 – 开关类
3.生成输出文件,加载到hive表中
编写脚本
严格遵循项目规范
4.jar包开发
ETL微博数据分析流程
最新推荐文章于 2021-11-01 21:40:20 发布