已采集微博数据ETL项目

• 已采集微博数据ETL项目
  • 常见的数据格式
    • Txt,文本行
    • Html,网页，超文本标记语言
    • Xml：是html的超集，就是一种自定义标记标签型格式。
      • pom.xml
        • <tag>….</tag>
    • Json
      • Key:value
      • 也可以key:value的数组
  • 中小型数据仓库项目的标准开发流程
    • 以数据流来驱动项目开发
    • 以已下载微博数据ETL项目为例
      • 1、基于定的微博数据目录，拿到该目录下所有的输入数据的文件路径。
      • 2、基于文件路径，读取文本文件的数据。
      • 3、解析读取出来的文件数据，成为结构化数据-微博博文对象抽象类-ContentPojo，最终获取对应的对象集合。
      • 4、解析读取出来的文件数据，成为结构化数据-用户对象抽象类-UserPojo, 最终获取对应的对象集合。
      • 5、将两个抽象的对象集合，进行文本化数据落地，形成待load到hive的数据文件。
      • 6、load两个类型的文件数据到hive的两张表当中。(提前创建两张表，均为外表)
      • 7、测试数据及查询结果的准确性。
  • 四化建设
    • 复杂的问题简单化
    • 简单的问题流程化
    • 流程的问题自动化
    • 自动的问题标准化
  • Java对应数据抽象的封装常用命习惯
    • model,数据模型的统一命名
    • entity,数据库与java对象进行交互时候的抽象
    • dto: data transfer object,数据传输对象
      • 多用于web前后端传输数据对象时
    • pojo: java开发当中用于一般性、无数据库交互的对象的统称。
  • 如果遇到陌生的业务问题，如何解决？
    • 先解决技术问题
  • 递归的编程技巧
    • 1、递归公式
    • 2、递归的终止条件
  • 以斐波那契为例，来写一个递归
    • 1、递归公式：f(n)=f(n-1)+f(n-2)
    • 2、终止条件：f(1)=f(2)=1
  • 以阶乘为例，来写一个递归
    • 1、递归公式：f(n)=n*f(n-1)
    • 2、终止条件：f(1)=1
  • 以给定一个文件系统的目录，获取其下所有的子目录和子文件的集合。
    • 1、递归公式：f(目录)=目录路径+f(目录-1),最终加入到结果集当中
    • 2、终止条件：遇到文件就停止，将文件加入结果集合