测试数据心得——holo

soldier_jw

已于 2023-12-04 13:18:44 修改

阅读量633

点赞数

文章标签： postgresql

于 2023-06-06 16:13:24 首次发布

本文链接：https://blog.csdn.net/soldier_jw/article/details/131069742

版权

目前是做报表项目，经常会有新的报表通过新的视图呈现在前端，所以经常需要在新表里面造数据，有一个区划维度大概有100+,另外还有一些其他维度，此为背景，使用数据库为holo

1、整理区划维度

区划维度是以拉链形式存于表中，这一块就需要根据根节点将整个数据平铺起来，将数据放入临时表中

select   
t1.code 大区code,t1.name 大区名称,
t2.code 城市code,t2.name 城市名称,
t3.code 团队code,t3.name 团队名称,
t4.code 门店code,t4.name 门店名称

from (select  id,name,parent_id,code  from  data_permission where  parent_id in 
        -- 从这个子查询中获取根节点
       (select id from data_permission where data_type = 'BI.Data.Delivery.Area')     
     ) t1 
left join data_permission t2 on  t1.id   =  t2.parent_id
left join data_permission t3 on  t2.id   =  t3.parent_id  
left join data_permission t4 on  t3.id   =  t4.parent_id  
order by t1.code,t2.code,t3.code,t4.code;

2、将测试数据存入维度表中，此表专为测试数据服务，直接使用中文命名

-- 交付区划辅助表
drop table if exists ads.交付区划辅助表;
create table ads.交付区划辅助表
(
    大区编码 text,大区名称 text,城市编码 text,城市名称 text,门店编码 text,门店名称 text
);


-- 将查到到平铺数据插入到辅助表里面
INSERT INTO  ads.交付区划辅助表 (大区编码,大区名称,城市编码,城市名称,门店编码,门店名称) 
VALUES
 ('#999','其他','#999','其他','#999','其他'),
。。。
。。。

3、从维度表里面造多个时间节点的数据

作用：将ads.交付区划辅助表中的数据存放到业务表里面，一天内每条区划生成 (24/ 4Hours)=6 条数据，最终结果：

业务表1天的数据= 6 * ads.交付区划辅助表.size()
整个表中的数据 = 230天的数据（前100天+后130天）

-- 插入日期和区划维度
insert into 业务表(biz_datetime,big_area_code,city_code,store_code)
select generate_series(current_date - 100,current_date + 130, '4 hours'),大区编码,城市编码,门店编码
from ads.交付区划辅助表 ;

以上的数据是基于当前日期，历史时间造100天以前以及130天以后，

1天一份的话，4 hours可以改成1 days

如果是数据少的话，可以使用迪卡尔积形式，但是我这边数据维度如果使用迪卡尔积的话，一天的数据都可以达到十数万，所以取某一个维度较多的数据作为基础维度，然后其他维度使用随机生成，这种数据基本满足所有维度都可以命中

4、不规则维度测试数据处理

造数据时，有些是是规则维度，有些是不规则维度，可以使用case when 转为真实维度，

例：枚举： aa,bb,cc

update 业务表
set 
enum_code = ceil(random()*4) where true;

update 业务表
set 
enum_code = 
    case enum_code 
        when '1' then 'aa' 
        when '2' then 'bb' 
        when '3' then 'cc' 
        else enum_code end 
where true;

5、复杂且经常变动的维度处理

case when 虽然好用，但是添加或减少维度的时候，需要每个表的测试脚本都需要维护一遍

如果是oracle或mysql可以直接写函数更好，holo不支持自定义函数编写，所以将经常变动的维度数据放入一张临时表里面，使用联表进行更新，目前使用的是字典表，在里面添加一个辅助字段


insert into ads.车系版型辅助表 (辅助字段,版型code,版型名称,车系code)
values 

(1,'1','aaa','1'),
(2,'2','bbb','1'),
(3,'3','ccc','1'),
(4,'7','ddd','1'), 
。。。。。



-- 放入随机数据=字典表版型的数量长度       ceil(random()*18)  会随机生成  1~18    
update ads.业务表 
set 
car_type_code = ceil(random()*18) where true;



-- 规整版型车系： 将随机产生的序号转成字典里面的业务code,
-- 跟case when 比起来的好处是：新加维度时，只需要维护字典表即可
update ads.业务表 
SET 
car_model_code = (select 车系code from ads.车系版型辅助表 t2 where car_type_code = t2.辅助字段 ),
car_type_code= (select 版型code from ads.车系版型辅助表 t2 where car_type_code = t2.辅助字段 )
where true;