点一下关注吧!!!非常感谢!!持续更新!!!
Java篇开始了!
- MyBatis 更新完毕
- 目前开始更新 Spring,一起深入浅出!
目前已经更新到了:
- Hadoop(已更完)
- HDFS(已更完)
- MapReduce(已更完)
- Hive(已更完)
- Flume(已更完)
- Sqoop(已更完)
- Zookeeper(已更完)
- HBase(已更完)
- Redis (已更完)
- Kafka(已更完)
- Spark(已更完)
- Flink(已更完)
- ClickHouse(已更完)
- Kudu(已更完)
- Druid(已更完)
- Kylin(已更完)
- Elasticsearch(已更完)
- DataX(已更完)
- Tez(已更完)
- 数据挖掘(已更完)
- Prometheus(已更完)
- Grafana(已更完)
- 离线数仓(已更完)
- 实时数仓(正在更新…)
章节内容
- 实时数仓 - 项目背景与需求
- 实时数仓架构 需求分析
- 技术选型
- 逻辑架构
实时数仓的定义
实时数仓是一种数据仓库系统,区别于传统批处理数仓,它强调低延迟、高吞吐和高可用性。实时数仓能够处理流式数据或近实时的数据流,使企业能够及时监控关键指标并做出决策。
实时数仓的关键特性
- 低延迟数据处理:数据从采集到可查询分析的时间极短,通常在秒级或毫秒级。
- 高并发查询支持:能够支持多用户同时查询,满足业务需求。
- 高可用性和可靠性:系统在高负载下仍能保持稳定,支持数据冗余和容错机制。
- 流批一体:既支持实时流式计算,也支持批量数据分析,满足多样化需求。
- 可扩展性:能够通过分布式架构动态扩展存储和计算资源,满足不断增长的业务需求。
实时数仓的发展趋势
- 云原生实时数仓:越来越多企业选择基于云平台搭建实时数仓,提升资源管理与成本控制能力。
- 湖仓一体化:结合数据湖和数据仓库的优势,支持结构化与非结构化数据的统一分析。
- AI 与机器学习集成:实时数仓将与 AI 和机器学习深度结合,实现智能分析与预测。
- 开源生态发展:更多开源工具不断涌现,降低企业建设实时数仓的门槛。
业务数据库表结构
业务数据库:
- 交易订单表(trade_orders)
- 订单产品表(order_product)
- 产品信息表(product_info)
- 产品分类表(product_category)
- 商家店铺表(shops)
- 商家地域组织表(shop_admin_org)
- 支付方式表(payments)
交易订单表
CREATE TABLE `wzk_trade_orders` (
`orderId` bigint(11) NOT NULL DEFAULT 0 COMMENT '订单id',
`orderNo` varchar(20) NOT NULL COMMENT '订单编号',
`userId` bigint(11) NOT NULL COMMENT '用户id',
`status` tinyint(4) NOT NULL DEFAULT -2 COMMENT '订单状态 -3:用户拒收 -2:未付款的订单 -1:用户取消 0:待发货 1:配送中 2:用户确认收货',
`productMoney` decimal(11,2) NOT NULL COMMENT '商品金额',
`totalMoney` decimal(11,2) NOT NULL COMMENT '订单金额(包括运费)',
`payMethod` tinyint(4) NOT NULL DEFAULT 0 COMMENT '支付方式,0:未知;1:支付宝,2:微信;3、现金;4、其他',
`isPay` tinyint(4) NOT NULL DEFAULT 0 COMMENT '是否支付 0:未支付 1:已支付',
`areaId` int(11) NOT NULL COMMENT '区域最低一级',
`tradeSrc` tinyint(4) NOT NULL DEFAULT 0 COMMENT '订单来源 0:商城 1:微信 2:手机版 3:安卓App 4:苹果App',
`tradeType` int(11) DEFAULT 0 COMMENT '订单类型',
`isRefund` tinyint(4) NOT NULL DEFAULT 0 COMMENT '是否退款 0:否 1:是',
`dataFlag` tinyint(4) NOT NULL DEFAULT 1 COMMENT '订单有效标志 -1:删除 1:有效',
`createTime` varchar(25) NOT NULL COMMENT '下单时间',
`payTime` varchar(25) DEFAULT NULL COMMENT '支付时间',
`modifiedTime` timestamp NOT NULL DEFAULT current_timestamp() ON UPDATE current_timestamp() COMMENT '订单更新时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 记录订单的信息
- status 订单状态
- createTime、payTime、modifiedTime
订单产品表
CREATE TABLE `wzk_order_product` (
`id` bigint(11) NOT NULL DEFAULT 0,
`orderId` bigint(11) NOT NULL COMMENT '订单id',
`productId` bigint(11) NOT NULL COMMENT '商品id',
`productNum` bigint(11) NOT NULL DEFAULT 0 COMMENT '商品数量',
`productPrice` decimal(11,2) NOT NULL DEFAULT 0.00 COMMENT '商品价格',
`money` decimal(11,2) DEFAULT 0.00 COMMENT '付款金额',
`extra` text DEFAULT NULL COMMENT '额外信息',
`createTime` varchar(25) DEFAULT NULL COMMENT '创建时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 记录订单中购买产品的信息,包括产品的数量、单价等
产品信息表
CREATE TABLE `wzk_product_info` (
`productId` bigint(11) NOT NULL DEFAULT 0 COMMENT '商品id',
`productName` varchar(200) NOT NULL COMMENT '商品名称',
`shopId` bigint(11) NOT NULL COMMENT '门店ID',
`price` decimal(11,2) NOT NULL DEFAULT 0.00 COMMENT '门店价',
`isSale` tinyint(4) NOT NULL DEFAULT 1 COMMENT '是否上架 0:不上架 1:上架',
`status` tinyint(4) NOT NULL DEFAULT 0 COMMENT '是否新品 0:否 1:是',
`categoryId` int(11) NOT NULL COMMENT 'goodsCatId 最后一级商品分类ID',
`createTime` varchar(25) NOT NULL,
`modifyTime` datetime DEFAULT NULL ON UPDATE current_timestamp() COMMENT '修改时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci
备注:
- 记录产品的详细信息,对应商家 ID、商品属性(是否新品、是否上架)
- createTime、modifyTime、创建时间、修改时间
产品分类表
CREATE TABLE `wzk_product_category` (
`catId` int(11) NOT NULL DEFAULT 0 COMMENT '品类ID',
`parentId` int(11) NOT NULL COMMENT '父ID',
`catName` varchar(20) NOT NULL COMMENT '分类名称',
`isShow` tinyint(4) NOT NULL DEFAULT 1 COMMENT '是否显示 0:隐藏 1:显示',
`sortNum` int(11) NOT NULL DEFAULT 0 COMMENT '排序号',
`isDel` tinyint(4) NOT NULL DEFAULT 1 COMMENT '删除标志 1:有效 -1:删除',
`createTime` varchar(25) NOT NULL COMMENT '建立时间',
`level` tinyint(4) DEFAULT 0 COMMENT '分类级别,共3级'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 产品分类表,共分3 个级别
-- 第一级产品目录
select catName, catid from wzk_product_category where level = 1;
-- 查看电脑、办公的子类(查看二级目录)
select catName, catid from wzk_product_category where level = 2 and parentId
= 32;
-- 查看电脑整机的子类(查看三级目录)
select catName, catid from wzk_product_category where level = 3 and parentId
= 10250;
执行结果如下图所示:
商家的店铺表
CREATE TABLE `wzk_shops` (
`shopId` int(11) NOT NULL DEFAULT 0 COMMENT '商铺ID,自增',
`userId` int(11) NOT NULL COMMENT '商铺联系人ID',
`areaId` int(11) DEFAULT 0,
`shopName` varchar(100) DEFAULT '' COMMENT '商铺名称',
`shopLevel` tinyint(4) NOT NULL DEFAULT 1 COMMENT '店铺等级',
`status` tinyint(4) NOT NULL DEFAULT 1 COMMENT '商铺状态',
`createTime` date DEFAULT NULL,
`modifyTime` datetime DEFAULT NULL COMMENT '修改时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 记录店铺的详细信息
商家地域组织表
CREATE TABLE `wzk_shop_admin_org` (
`id` int(11) NOT NULL DEFAULT 0 COMMENT '组织ID',
`parentId` int(11) NOT NULL COMMENT '父ID',
`orgName` varchar(100) NOT NULL COMMENT '组织名称',
`orgLevel` tinyint(4) NOT NULL DEFAULT 1 COMMENT '组织级别1;总部及大区级部门;2:总部下属的各个部门及基部门;3:具体工作部门',
`isDelete` tinyint(4) NOT NULL DEFAULT 0 COMMENT '删除标志,1:删除;0:有效',
`createTime` varchar(25) DEFAULT NULL COMMENT '创建时间',
`updateTime` varchar(25) DEFAULT NULL COMMENT '最后修改时间',
`isShow` tinyint(4) NOT NULL DEFAULT 1 COMMENT '是否显示,0:是 1:否',
`orgType` tinyint(4) NOT NULL DEFAULT 1 COMMENT '组织类型,0:总裁办;1:研发;2:销售;3:运营;4:产品'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 记录店铺所属区域
支付方式表
CREATE TABLE `wzk_payments` (
`id` int(11) NOT NULL,
`payMethod` varchar(20) DEFAULT NULL,
`payName` varchar(255) DEFAULT NULL,
`description` varchar(255) DEFAULT NULL,
`payOrder` int(11) DEFAULT 0,
`online` tinyint(4) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci;
备注:
- 记录支付方式
最终结果
整体截图: