2024年今日指数项目之ETL数据业务开发(功能实现)【八】_etl开发文档(1)，成功拿到offer

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

交易所代码 exch_code varchar(10) pd_wind_base_info
参考代码：
insert overwrite table maynor_quot_dw.sum_stock_close_dtl_day_sz partition (dt=‘20200704’)
select
a.trade_date
,a.sec_code
,a.sec_abbr
,a.last_close_price
,a.cur_open_price
,a.cur_high_price
,a.cur_low_price
,a.cur_close_price
,a.cur_trade_vol
,a.cur_trade_amt
,b.tot_cap
,b.nego_cap
,b.credit_level
,c.if_list
,c.trade_curr_code
,c.exch_code
from maynor_quot_ods.tra_stock_day_info_sz a
join maynor_quot_ods.pd_stock_sec_info b
on a.sec_code = b.sec_code
join maynor_quot_ods.pd_wind_base_info c
on a.sec_code = c.sec_code;

查询结果数据：
select * from maynor_quot_dw.sum_stock_close_dtl_day_sz limit 5;

5.4.3.板块个股对应基本信息表
1、关联ods层板块基本信息表、万德数据证券基础信息和个股证券基本信息，将数据插入到日分区： 20200704分区
2、插入数据后使用 hive/beeline确认数据是否正确映射
板块基本信息表(pd_sector_base_info)与万德数据证券基础信息表（pd_wind_base_info）通过证券id（sec_id）关联；再通过证券代码（sec_code）关联个股证券基本信息表(pd_stock_sec_info)，按照算法描述过滤数据，最后组成板块个股对应基本信息表。(sum_sector_stock_base_info)。
过滤条件：1、行业板块代码以85开头
2、只筛选行业板块数据中板块类型（sec_type_code）为A股数据
新表字段如下：
列名 字段 类型 来源表
更新时间 etl_time timestamp
交易日期 trade_date date pd_sector_base_info
板块代码 sector_code varchar (6) pd_sector_base_info
板块名称 sector_name varchar (20) pd_sector_base_info
板块类型 sector_type char (1) pd_sector_base_info
个股代码 sec_code char (6) pd_wind_base_info
个股流通股本 nego_cap decimal(18,0) pd_stock_sec_info
证券上市地点简称 sec_abbr varchar (10) pd_sector_base_info
参考代码：
insert overwrite table maynor_quot_dw.sum_sector_stock_base_info partition(dt=‘20200719’)
select
current_timestamp,
a.trade_date ,
a.sector_code,
a.sector_name ,
a.sector_type,
b.sec_code ,
c.nego_cap ,
a.sec_abbr
from maynor_quot_ods.pd_sector_base_info a
join maynor_quot_ods.pd_wind_base_info b
on a.sec_id = b.sec_id
join maynor_quot_ods.pd_stock_sec_info c
on b.sec_code=c.sec_code
where a.sector_code like ‘85%’
and b.sec_type_code=‘A’
;

查询结果数据：
select * from maynor_quot_dw.sum_sector_stock_base_info limit 5;

5.4.4.沪市指数日收盘明细表
1、关联ods层上证指数日交易信息表和指数日流通基本信息表，将数据插入到日分区： 20200704分区
2、插入数据后使用 hive/beeline确认数据是否正确映射
上证指数日交易信息表(tra_index_day_info)与指数日流通基本信息(pd_index_