介绍DataWorks快速构建数仓并应用到业务上的实例

/09/05﷽﷽﷽﷽﷽﷽﷽署析电影题材，故事，工任联表，电影与工示例说明

实验背景：

本实验基于五年好莱坞电影数据，了解通过 DataWorks 操作 MaxCompute 来构建数据仓库，ETL清洗数据，并同步数据给应用数据库，完成从数据到线上应用的过程。

使用工具：

大数据计算服务（MaxCompute）+ 大数据开发（DataWorks）

 

实验数据：

基于2007-2011年五年间的好莱坞电影数据，分析电影题材，故事，工作室与电影之间的关系

 

数据准备：

样例数据：

使用2007-2012年5年的好莱坞电影数据

字段名称	字段说明
film	电影名称
major_studio	主要工作室
rotten_tomatoes	烂蕃茄评分
audience_score	观众评分
story	故事
genre	体裁
week_theatres_num	上映场数
week_boxOffice_avf	每周平均票房
domestic_gross_m	国内票房
foreign_gross_m	国外票房
worldwide_gross_m	世界票房
budget	预算
market_profitability	市场占有率
opening_weekend	上映周数
oscar	奥斯卡
bafta	英国电影学院奖
sourec	来源,全是 the_numbs.com
domestic_gross	国内票房
foreign_gross	国外票房
worldwide_gross	世界票房
budget	预算

 

实验步骤：

前期准备

创建项目

进入项目列表，点击创建项目，选择服务项目，配置基本信息

进入工作区

在任务列表或DataWorks控制台首页点击进入工作区

 

 

 

数据ETL

建表

     按年分区建一张原始数据表，用于存储已准备好的好莱坞电影数据

1. 可以在数据管理的数据表管理里面新建（可视化建表）

2．可以在数据开发区使用建表语句建表

 

建表语句：

CREATE TABLE ods_hollywood_movie_data_dd (

film STRING COMMENT '电影名称',

major_studio STRING COMMENT '主要工作室',

rotten_tomatoes STRING COMMENT '烂蕃茄网',

audience_score STRING COMMENT '观众评分',

story STRING COMMENT '故事',

genre STRING COMMENT '体裁',

week_theatres_num STRING COMMENT '周上印场数',

week_boxoffice_avf STRING COMMENT '周平均票房',

domestic_gross_m STRING COMMENT '国内总票房',

foreign_gross_m STRING COMMENT '国外总票房',

worldwide_gross_m STRING COMMENT '世界总票房',

budget_m STRING COMMENT '预算',

market_profitability STRING COMMENT '市场盈利能力',

opening_weekend STRING COMMENT '上印周数',

oscar STRING COMMENT '奥斯卡',

bafta STRING COMMENT '英国电影学院奖',

source STRING COMMENT '来源',

domestic_gross STRING COMMENT '国内总票房',

foreign_gross STRING COMMENT '外票总票房',

worldwide_gross STRING COMMENT '世界总票房',

budget STRING COMMENT '预算'

)

COMMENT '电影初始采集数据'

PARTITIONED BY (

yy BIGINT COMMENT '年份'

)

LIFECYCLE 100000;

 

导入本地数据

按分区将准备好的2007-2011年5年的数据分别导入对应的分区

1．         在数据开发区域-点击导入-选择导入本地数据

2．         选择本地文件-配置文件格式等信息

3．         选择建好的表-指定分区，并做好数据内容与字段的映射

分区检测是否已有数据，如果已有，先把分区删除，导入自动追加而不是覆盖

4．         导入数据，导入成功右上角提示导入成功

 

创建脚本清洗数据

1.     创建脚本

新建一张dwd表用于存储处理特殊格式后的数据

数据开发区-新建脚本文件-输入文件名-确定

2.     编写脚本

主要处理部分金额数值为?/??的数据，都清洗成0，部分金额数值中带了$符号，统一去除。

 

3.     运行脚本

脚本中带有分区参数，运行时需要填上参数，点脚本上方运行

按业务需求处理数据

多原始表中清洗出 电影信息表，电影与体裁的关联表，电影与获奖奖项的关联表，电影与故事情节的关联表，电影与工作室的关联表

新建任务-因为数据是预先获取，所以选择手动任务，如果是周期数据可以选择周期高度，按流程依赖执行

 

编写脚本

编写业务逻辑sql，创建业务表并从原始表中提取相关的数据

运行任务

脚本上方有测试运行

切换到运维页面-手动任务-运行

 

 

 

执行完成后，数据处理完成，可以将数据同步到业务平台进行分析。

数据同步

新建数据源

数据集成-数据源-新建数据源

按提示输入数据源信息，注意添加白名单

 

同步任务创建

数据集成-同步任务-选择向导模式-按流程步骤填写

选择源数据-odps及表名

 

 

 

 

选择目标数据源-表名

 

字段映射

 

配置资源并发数等

保存同步任务

运行同步任务

 

查看日志-同步完成

 

业务效果

数据同步到业务数据库后，配置相应信息，业务的展示效果如下