建立简单的数据仓库一

一 数据的获取来源 我们这里直接从数据库中获取
在mysql生成数据
给定source sql
数据结构如下

我们数仓的分层

分层 ：ods-ded-dws-dm
dw(dwd,dwds)
将dw层拆成了dwd，dwds
dwd（data warehouse detail）:数据明细层
dws:数据服务层（轻度的汇总，dws层一般都是跨表的）
dm（data market）：数据集市层（高度汇总）

二使用sqoop导入 按实际条件情况导入

全量导入:snbap_ods.ods user
全量导入:snbap_ods.ods user_extend
全量导入:snbap_ods.ods user_addr
全量导入:snbap_ods.ods biz_trade

增量导入:snbap_ods.ods_user pc_click
增量导入:snbap_ods.ods_user_app_click_log
增量导入:snbap_ods.ods user order
增量导入:snbap_ods.ods order item
增量导入:snbap_ods.ods_order_delivery
增量导入:snbap_ods.ods order cart

例一

sqoop job --delete bap_user

sqoop job --create bap_user \
-- import \
--connect jdbc:mysql://localhost:3306/snbap_ods \
--driver com.mysql.jdbc.Driver \
--username root \
--password  ok \
--table user \
--delete-target-dir \                            全量导入必须要删除文件不然报错
--target-dir /snbap/ods/ods_user \
--fields-terminated-by '\001'

-----------------------------------增量导入

ods_user_pc_click


sqoop job --create bap_ods_user_pc_click \
-- import \
--connect jdbc:mysql://localhost:3306/snbap_ods \
--driver com.mysql.jdbc.Driver \
--username root \
--password ok \
--table user_pc_click_log \
--target-dir /snbap/ods/ods_user_pc_click_log \
--fields-terminated-by '\001' \
--check-column log_id \
--incremental append \
--last-value 0

sqoop job --exec bap_ods_user_pc_click

（hive -e 命令行使用）load data inpath '/snbap/ods/ods_user_app_click_log/*' into table snbap_ods.ods_user_app_click_log partition(dt='20200904')

#方法二:直接使用sqoop将数据导入到分区表的分区目录下，然后手动添加分区
alter table snbap_ods.ods_user_pc_click_log add partition (dt=$dt)locatio{n}^{\prime }/snbap/ods/odsuserp{c}_{c}lic{k}_{l}og7dt=$dt’
xxx.sh

#DWD层数据加载

表结构模型

#加载app访问表
insert into table snbap_dwd.dwd_user_app_pv partition(dt=‘20200904’)
select
log_id,
user_id,
imei,
log_time,
hour(log_time) log_hour,
visit_os,
os_version,
app_name ,
app_version ,
device_token,
visit_ip,
province,
city,
current_timestamp() dw_date
from snbap_ods.ods_user_app_click_log
where dt =‘20200904’