电商数仓
文章平均质量分 87
cpuCode
站在巨人的肩上行走 https://github.com/CPU-Code
展开
-
电商数仓导航
电商数仓导航项目概述文章GitHub项目概述集群服务器规划 :服务名称子服务服务器 cpu101服务器 cpu102服务器 cpu103HDFSNameNode√√√DataNode√√√JournalNode√√√ZKFC√√√YarnNodeManager√√√Resourcemanager√√√ZookeeperZookeeper Server√√√原创 2022-03-28 11:56:05 · 1059 阅读 · 0 评论 -
1. 用户行为采集平台概述
用户行为采集平台概述数据仓库概念项目需求及架构设计项目需求分析项目框架技术选型系统数据流程设计框架版本选型服务器选型集群资源规划设计用户行为日志用户行为日志概述用户行为日志内容页面浏览记录动作记录曝光记录启动记录错误记录用户行为日志格式页面日志启动日志模拟生成用户行为日志环境准备模拟数据数据仓库概念数据仓库(Data Warehouse )是为企业所有决策制定过程,提供所有系统数据的战略集合通过对数据仓库中数据的分析,可以帮助企业,改进业务、控制成本、提高产品质量等。数据仓库,并不是数据的最终目的地原创 2022-02-27 21:30:40 · 1924 阅读 · 0 评论 -
2. 用户行为采集平台搭建
用户行为采集平台数据仓库概念项目需求及架构设计项目需求分析项目框架技术选型系统数据流程设计框架版本选型服务器选型集群资源规划设计用户行为日志用户行为日志概述用户行为日志内容用户行为日志格式模拟生成用户行为日志数据采集模块数据仓库概念数据仓库(Data Warehouse )是为企业所有决策制定过程,提供所有系统数据的战略集合通过对数据仓库中数据的分析,可以帮助企业,改进业务、控制成本、提高产品质量等。数据仓库,并不是数据的最终目的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:清洗原创 2022-02-13 23:08:30 · 1408 阅读 · 0 评论 -
3. 业务数据采集平台概述
业务数据采集平台电商业务简介电商业务流程电商常识SKU和SPU平台属性和销售属性电商业务数据电商系统表结构模拟生成业务数据MySQL安装业务数据生成业务数据梳理工具业务数据采集模块数仓环境准备电商业务简介电商业务流程以用户的浏览足迹为例说明用户点开电商首页开始浏览,通过分类查询或通过全文搜索寻找自己中意的商品 , 将商品添加到购物车后,对商品进行结算,这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响,会生成相应的订单数据和支付数据订单正式生成之后,还会对订单进行跟踪处理,直到订单全部原创 2022-02-17 23:29:44 · 1370 阅读 · 0 评论 -
4. 业务数据采集平台搭建
业务数据采集平台搭建业务数据采集模块业务数据同步概述数据同步策略概述数据同步策略选择数据同步工具概述数据同步工具部署全量表数据同步数据通道DataX 配置文件DataX 配置文件生成脚本测试生成的 DataX 配置文件全量表数据同步脚本全量表同步总结增量表数据同步数据通道Maxwell 配置Flume 配置增量表首日全量同步增量表同步总结数仓环境准备Hive安装部署业务数据采集模块业务数据同步概述数据同步策略概述每日定时从业务数据库中抽取数据,传输到数据仓库中,之后再对数据进行分析统计为保证统计结原创 2022-02-27 21:42:47 · 1785 阅读 · 1 评论 -
5. 电商数据仓库系统
电商数据仓库系统数据仓库概述数据仓库建模概述维度建模理论之事实表维度建模理论之维度表维度建模理论之维度表数据仓库环境准备数仓开发之ODS层数仓开发之DIM层数仓开发之DWD层数仓开发之DWS层数仓开发之ADS层报表数据导出数据仓库工作流调度数据仓库概述数据仓库建模概述维度建模理论之事实表维度建模理论之维度表维度建模理论之维度表数据仓库环境准备数仓开发之ODS层数仓开发之DIM层数仓开发之DWD层数仓开发之DWS层数仓开发之ADS层报表数据导出数据仓库工作流调度...原创 2022-02-19 00:11:26 · 2561 阅读 · 0 评论 -
6. 数据仓库环境准备
6. 数据仓库环境准备数据仓库环境准备数据仓库运行环境Hive环境搭建Hive on Spark 配置Hive on Spark 测试Yarn环境配置数据仓库开发环境启动 HiveServer2配置 DataGrip 连接创建连接配置连接属性测试使用模拟数据准备用户行为日志业务数据生成模拟数据全量表同步增量表首日全量同步数据仓库环境准备数据仓库运行环境Hive环境搭建Hive引擎:默认MRTezSparkHive on Spark:Hive 既作为存储元数据又负责 SQL 的解析优化,语原创 2022-03-13 23:46:47 · 1747 阅读 · 0 评论 -
7. 数仓开发之ODS层
数仓分层开发数仓开发之ODS层数仓开发之DIM层数仓开发之DWD层数仓开发之DWS层数仓开发之ADS层数仓开发之ODS层数仓开发之DIM层数仓开发之DWD层数仓开发之DWS层数仓开发之ADS层原创 2022-02-19 00:13:03 · 622 阅读 · 0 评论 -
8. 数仓开发之 DIM 层
数仓开发之 DIM 层商品维度表DIM 层设计要点:DIM 层的设计依据 : 维度建模理论,该层存储维度模型的维度表DIM 层的数据存储格式 : orc 列式存储 + snappy 压缩DIM 层表名的命名规范为 dim_表名_全量表或拉链表标识( full / zip )商品维度表...原创 2022-03-17 18:48:22 · 6067 阅读 · 0 评论 -
9. 数仓开发之 DWD 层
数仓开发之 DWD 层交易域加购事务事实表DWD层设计要点:DWD 层的设计依据 : 维度建模理论,该层存储维度模型的事实表DWD 层的数据存储格式 : orc 列式存储 + snappy 压缩DWD 层表名的命名规范 : dwd_数据域_表名_单分区增量****全量标识( inc / full )交易域加购事务事实表...原创 2022-03-28 11:53:56 · 3215 阅读 · 0 评论 -
10. 数仓开发之DWS层
数仓开发之DWS层最近1日汇总表最近 n 日汇总表历史至今汇总表设计要点:DWS 层的设计参考指标体系DWS 层的数据存储格式为 orc 列式存储 + snappy 压缩DWS 层表名的命名规范 : dws_数据域_统计粒度_业务过程_统计周期(1d / nd / td )1d : 最近1日,nd : 最近n日,td : 历史至今最近1日汇总表最近 n 日汇总表历史至今汇总表...原创 2022-03-28 11:55:00 · 748 阅读 · 0 评论 -
11. 数仓开发之ADS层
数仓开发之ADS层流量主题各渠道流量统计路径分析用户主题流量主题各渠道流量统计路径分析用户主题原创 2022-03-28 11:55:34 · 2844 阅读 · 0 评论 -
数仓报表导出
数仓报表导出报表数据导出数据仓库工作流调度报表数据导出数据仓库工作流调度原创 2022-02-19 00:14:18 · 955 阅读 · 0 评论 -
Superset
SupersetSuperset概述Superset安装Superset使用对接MySQL数据源数据源配置制作仪表盘Superset实战制作地图制作饼状图Superset概述Apache Superset 是一个现代的数据探索和可视化平台。功能强大且十分易用,可对接各种数据源,包括很多现代的大数据分析引擎,拥有丰富的图表展示形式,并且支持自定义仪表盘服务器操作系统为 CentOS 7,Superset 对接的数据源为 MySQL 数据库Superset安装Superset使用对接MySQL数据源原创 2022-02-21 22:36:29 · 631 阅读 · 0 评论 -
Kylin 即席查询
Kylin 即席查询Kylin简介Kylin架构Kylin特点Kylin安装Kylin依赖环境Kylin搭建Kylin启动Kylin使用创建工程获取数据源创建 model构建 cube使用进阶Kylin Cube构建原理维度和度量Cube和CuboidCube构建算法Cube存储原理Kylin Cube构建优化Kylin BI工具集成Kylin简介Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop / Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据原创 2022-03-02 11:16:14 · 613 阅读 · 0 评论 -
Presto 即席查询
即席查询PrestoKylinPrestoKylin原创 2022-02-24 14:10:54 · 711 阅读 · 0 评论 -
Zabbix 监控
Zabbix 监控Zabbix概述基础架构Zabbix部署Zabbix使用Zabbix 术语Zabbix实战创建Host创建监控项(Items)创建触发器(Trigger)创建动作(Action)申请邮箱创建报警媒介类型(Media type)测试创建模板点击配置/模板/创建模板Zabbix概述Zabbix : 一款监控各种网络参数及服务器健康性和完整性的软件Zabbix 使用灵活的通知机制,允许用户为几乎任何事件配置基于邮件的告警。可以快速反馈服务器的问题。基于已存储的数据,Zabbix提供了出色的原创 2022-02-24 22:22:02 · 654 阅读 · 0 评论