建立简单的数据仓库一

一 数据的获取来源 我们这里直接从数据库中获取
在mysql生成数据
给定source sql
数据结构如下

我们数仓的分层

分层 ：ods-ded-dws-dm
dw(dwd,dwds)
将dw层拆成了dwd，dwds
dwd（data warehouse detail）:数据明细层
dws:数据服务层（轻度的汇总，dws层一般都是跨表的）
dm（data market）：数据集市层（高度汇总）

二使用sqoop导入 按实际条件情况导入

全量导入:snbap_ods.ods user
全量导入:snbap_ods.ods user_extend
全量导入:snbap_ods.ods user_addr
全量导入:snbap_ods.ods biz_trade

增量导入:snbap_ods.ods_user pc_click
增量导入:snbap_ods.ods_user_app_click_log
增量导入:snbap_ods.ods user order
增量导入:snbap_ods.ods order item
增量导入:snbap_ods.ods_order_delivery
增量导入:snbap_ods.ods order cart

例一

sqoop job --delete bap_user

sqoop job --create bap_user \
-- import \
--connect jdbc:mysql://localhost:3306/snbap_ods \
--driver com.mysql.jdbc.Driver \
--username root \
--password  ok \
--table user \
--delete-target-dir \                            全量导入必须要删除文件不然报错
--target