【juns项目】信用卡数据项目2-2：数据设计

最新推荐文章于 2022-10-25 11:57:43 发布

debimeng

最新推荐文章于 2022-10-25 11:57:43 发布

阅读量787

点赞数 1

分类专栏： juns项目文章标签： python3将excel文件数据导入mysql

本文链接：https://blog.csdn.net/debimeng/article/details/85329524

版权

本文介绍了一个信用卡数据项目的数据设计，包括在CentOS 7.5上使用MySQL 5.7.23数据库。设计分为ODS、DW和DM三层，涉及银行表如t_bank，以及不同银行的原始数据和DW数据表。同时，文章还讨论了如何通过存储过程将Excel数据导入MySQL的ODS表，并展示了部分存储过程的示例。

摘要由CSDN通过智能技术生成

数据存放的环境

系统版本：CentOS 7.5

数据库：MySQL 5.7.23

数据库设计
1. 设计概述

ODS表为原始数据，数据从客户业务系统拉取，包含中文数据；

DW表去掉中文后的数据，数据从ODS表获取；

DM为展示的数据，即系统最后需求的数据；

T为基础表。

银行表：t_bank

原始数据表：

ods_bankdata_gs,ods_bankdata_ny,ods_bankdata_zg,ods_bankdata_js……

ods_bankdata_gs_history,ods_bankdata_ny_history……..

DW数据表：

dw_bankdata_gs,dw_bankdata_ny,dw_bankdata_zg,dw_bankdata_js……

dw_bankdata_gs_history,dw_bankdata_ny_hisroty……..

DM展示表：dm_bankfor

1. 具体设计

#创建数据库

create database dbBank;

需求：

拉取过来的数据(比如浦发，兴业，农行等)，格式如：

兴业：

手机号,姓名,开通信用卡功能(10万条)

浦发：

手机号,姓名,开通信用卡功能(10万条)

......

将上面的数据合并，因为每个身份证号有可能在多家银行开有信用卡，需要将20万条数据，假如这时只有18万不重复身份证号的数据

1. 1. Base

#################################################

################## BASE ##################

#################################################

/*银行表：t_bank

序号,代码,银行名,银行简写

bankId

bankCode

bankName

bankAD

create table t_bank(

bankId int primary key auto_increment comment '主键自增',

bankCode varchar(50) comment '银行代码',

bankName varchar(200) not null unique comment '银行名',

bankAD varchar(20) not null unique comment '银行简写'

)comment='银行表';


insert into t_bank values(1,'','工商银行','gs');

insert into t_bank values(2,'','农业银行','ny');

insert into t_bank values(3,'','中国银行','zg');

insert into t_bank values(4,'','建设银行','js');

insert into t_bank values(5,'','交通银行','jt');

insert into t_bank values(6,'','进出口银行','jck');

insert into t_bank values(7,'','国家开发银行','kf');

insert into t_bank values(8,'','农业发展银行','nf');

insert into t_bank values(9,'','招商银行','zs');

insert into t_bank values(10,'','浦发银行','pf');

insert into t_bank values(11,'','中信银行','zx');

insert into t_bank values(12,'','光大银行','gd');

insert into t_bank values(13,'','华夏银行','hx');

insert into t_bank values(14,'','民生银行','ms');

insert into t_bank values(15,'','广发银行','gf');

insert into t_bank values(16,'','兴业银行','xy');

insert into t_bank values(17,'','平安银行','pa');

insert into t_bank values(18,'','浙商银行','zhes');

insert into t_bank values(19,'','恒丰银行','hf');

insert into t_bank values(20,'','渤海银行','bh');

insert into t_bank values(21,'','广西农村信用社','gxnxs');

insert into t_bank values(22,'','邮政储蓄银行','yz');

commit;

1. 1. ods

##################################################

################## ODS ####################

##################################################

/*原始数据表：根据银行类型分表：ods_bankdata_gs,ods_bankdata_ny,ods_bankdata_zg,ods_bankdata_js,

序号,姓名,手机号,身份证号,银行名,插入时间,备注

name

phone

idNumber

bankName

insTime

notes

#--工商银行_ods

drop table ods_bankdata_gs;

create table ods_bankdata_gs(

id bigint primary key auto_increment comment '序号',

name varchar(50) comment '姓名',

phone bigint comment '手机号',

idnumber varchar(20) comment '身份证号',

bankname varchar(100) comment '银行名',

instime datetime comment '插入时间',