电商数仓(系统业务数 据仓库)
Knight_AL
这个作者很懒,什么都没留下…
展开
-
电商数仓-(业务数据导入HDFS)
脚本编写1.在/usr/local/bin目录下创建vim mysql_to_hdfs.sh添加如下内容:#! /bin/bashsqoop=/export/servers/sqoop/bin/sqoopdo_date=`date -d '-1 day' +%F`if [[ -n "$2" ]]; thendo_date=$2fiimport_data(){$sqoop import \--connect jdbc:mysql://hadoop12:3306/gmall \--.原创 2020-07-26 21:21:58 · 442 阅读 · 0 评论 -
大数据电商数仓(2) | 同步策略
目录同步策略全量同步策略增量同步策略新增及变化策略特殊策略同步策略数据同步策略的类型包括:全量表、增量表、新增及变化表 全量表:存储完整的数据。 增量表:存储新增加的数据。 新增及变化表:存储新增加的数据和变化的数据。 特殊表:只需要存储一次。全量同步策略增量同步策略新增及变化策略每日新增及变化,就是存储创建时间和操作时间都是今天的数据。适用场景为,表的数据量大,既会有新增,又会有变化。例如:用户表、订单表、优惠卷领用表。特殊策略某些特殊的维度表,可不必遵循上述同步策原创 2020-07-25 22:21:23 · 775 阅读 · 0 评论 -
Navicat如何导入数据
原创 2020-07-25 22:05:48 · 388 阅读 · 0 评论 -
大数据之电商数仓(1) | 电商中SKU和SPU到底是什么
SKU=StockKeepingUnit(库存量基本单位):现在已经被引申为产品统一编号的简称, 每种产品均对应有唯一的 SKU 号。SPU(StandardProductUnit):是商品信息聚合的最小单位,是一组可复用、易检索标准化信息集合。例如:iPhoneX 手机就是 SPU。一台银色、128G 内存的、支持联通网络的 iPhoneX, 就是 SKU。...原创 2020-07-25 21:11:55 · 758 阅读 · 0 评论