网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
province, city, region, township,
status, customer_classify, dt
from one_make_dwd.ciss_base_oilstation
where id != '' and name is not null and name != 'null' and customer_id is not null;
```
* eos\_dict\_type:字典状态类别表,记录所有需要使用字典标记的表
```
select * from eos_dict_type where dicttypename = '油站状态';
```
* eos\_dict\_entry:字典状态明细表,记录所有具体的状态或者类别信息
```
select \* from eos_dict_entry where dicttypeid = 'BUSS\_OILSTATION\_STATUS';
```
* ciss\_base\_baseinfo:客户公司信息表【公司ID、公司名称】
```
select ygcode, companyname from one_make_dwd.ciss_base_baseinfo group by ygcode, companyname;
```
+ 数据有重复,做个去重
* ciss\_base\_customer:客户信息表【客户id、客户省份名称、所属公司ID】
```
select code, province, company from one_make_dwd.ciss_base_customer;
```
* ciss\_base\_areas:行政地区信息表
+ 通过具体的id关联所有地区信息
- **实现设计**
* 所有表按照对应字段关联,获取对应的属性字段
-
小结
- 掌握油站维度的需求与设计
02:油站维度构建
-
目标:实现油站维度的构建
-
实施
- 建维度表
-- 创建油站维度表 create external table if not exists one_make_dws.dim_oilstation( id string comment '油站ID' , name string comment '油站名称' , code string comment '油站编码' , customer_id string comment '客户ID' , customer_name string comment '客户名称' , province_id int comment '省份id' , province_name string comment '省份名称' , city_id int comment '城市id' , city_name string comment '城市名称' , county_id int comment '县城ID' , county_name string comment '县城名称' , area_id int comment '区域id' , area_name string comment '区域名称' , customer_classify_id string comment '客户分类ID' , customer_classify_name string comment '客户分类名称' , status int comment '油站状态(1、2)' , status_name string comment '油站状态名(正常、停用)' , company_id int comment '所属公司ID' , company_name string comment '所属公司名称' , customer_province_id int comment '客户所属省份ID' , customer_province_name string comment '客户所属省份' ) COMMENT '油站维度表' PARTITIONED BY (dt STRING) STORED AS TEXTFILE LOCATION '/data/dw/dws/one\_make/dim\_oilstation';
- 抽取数据
insert overwrite table one_make_dws.dim_oilstation partition (dt ='20210101') select oil.id, oil.name, oil.code, customer_id, customer_name , oil.province province_id, p.areaname province_name , oil.city city_id, c.areaname city_name , oil.region county_id, county.areaname county_name , oil.township area_id, a.areaname area_name , oil.customer_classify customer_classify_id, ede.dictname customer_classify_name , oil.status status, eosde.dictname status_name , cbc.company company_id, binfo.companyname company_name , proname.id customer_province_id, proname.areaname customer_province_name from ( select id, name, code, customer_id, customer_name, province, city, region, township, status, customer_classify, dt from one_make_dwd.ciss_base_oilstation where id != '' and name is not null and name != 'null' and customer_id is not null
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
t/topics/618545628)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!