一、dwd层分析
下面我们来创建dwd层:
针对ods层表中的数据进行清洗,参考数据清洗规则,按照实际情况对数据进行清洗。
注意:如果清洗规则使用SQL可以实现,那么就使用SQL实现数据清洗,如果清洗的规则使用SQL实现起来非常麻烦,或者使用SQL压根无法实现,此时就可以考虑需要使用MapReduce代码或者Spark代码对数据进行清洗了。
由于我们这里采集的数据还是比较规整的,可以使用SQL实现,所以我们就直接使用SQL实现数据清洗了。
二、创建dwd层数据库
在hive中创建数据库dwd_mall
create database dwd_mall;
show databases;
三、创建dwd层的表
注意:
1、原始json数据中的用户id字段名称为uid,但是在商品订单数据中用户id字段名称为user_id,这块需要注意一下,在实际工作中会有这种情况,客户端和服务端数据的个别字段名称不一致,所以我们在使用的时候最好是统一一下,后期使用起来比较方便,所以在这里我会通过uid解析数据,解析之后,