- 已采集微博数据ETL项目
- 常见的数据格式
- Txt,文本行
- Html,网页,超文本标记语言
- Xml:是html的超集,就是一种自定义标记标签型格式。
- pom.xml
- <tag>….</tag>
- pom.xml
- Json
- Key:value
- 也可以key:value的数组
- 中小型数据仓库项目的标准开发流程
- 以数据流来驱动项目开发
- 以已下载微博数据ETL项目为例
- 1、基于定的微博数据目录,拿到该目录下所有的输入数据的文件路径。
- 2、基于文件路径,读取文本文件的数据。
- 3、解析读取出来的文件数据,成为结构化数据-微博博文对象抽象类-ContentPojo,最终获取对应的对象集合。
- 4、解析读取出来的文件数据,成为结构化数据-用户对象抽象类-UserPojo, 最终获取对应的对象集合。
- 5、将两个抽象的对象集合,进行文本化数据落地,形成待load到hive的数据文件。
- 6、load两个类型的文件数据到hive的两张表当中。(提前创建两张表,均为外表)
- 7、测试数据及查询结果的准确性。
- 四化建设
- 复杂的问题简单化
- 简单的问题流程化
- 流程的问题自动化
- 自动的问题标准化
- Java对应数据抽象的封装常用命习惯
- model,数据模型的统一命名
- entity,数据库与java对象进行交互时候的抽象
- dto: data transfer object,数据传输对象
- 多用于web前后端传输数据对象时
- pojo: java开发当中用于一般性、无数据库交互的对象的统称。
- 如果遇到陌生的业务问题,如何解决?
- 先解决技术问题
- 递归的编程技巧
- 1、递归公式
- 2、递归的终止条件
- 以斐波那契为例,来写一个递归
- 1、递归公式:f(n)=f(n-1)+f(n-2)
- 2、终止条件:f(1)=f(2)=1
- 以阶乘为例,来写一个递归
- 1、递归公式:f(n)=n*f(n-1)
- 2、终止条件:f(1)=1
- 以给定一个文件系统的目录,获取其下所有的子目录和子文件的集合。
- 1、递归公式:f(目录)=目录路径+f(目录-1),最终加入到结果集当中
- 2、终止条件:遇到文件就停止,将文件加入结果集合
- 常见的数据格式
已采集微博数据ETL项目
最新推荐文章于 2022-06-13 18:40:39 发布
这篇博客介绍了中小型数据仓库项目的标准开发流程,以微博数据ETL为例,涵盖了数据格式如TXT、HTML、XML、JSON的解析,以及Java中数据抽象的常见命名习惯。通过递归编程技巧展示了如何处理复杂问题,如斐波那契数列和阶乘计算,并讨论了如何获取文件系统目录下的所有子目录和文件。此外,博客还强调了解决陌生业务问题时应先解决技术层面的问题。
摘要由CSDN通过智能技术生成