千亿级数仓项目第一章

本文详细介绍了千亿级数仓项目的实施过程,包括数据仓库和数据集市的构建,数据从Mysql迁移至Hive,利用Kettle、sqoop进行数据同步,通过Spark SQL进行数据计算和指标分析,以及使用Kylin进行预计算。项目涉及电商行业,涵盖了用户、店铺、订单等关键业务数据,每日数据增长量大,通过扩容硬件和数据归档解决存储问题。项目目标是提升消费并掌握数据仓库建设及相关技术。
摘要由CSDN通过智能技术生成

千亿级数仓项目
总体介绍
数仓: 数据仓库
数据集市
阶段一
项目背景介绍
阶段二
准备数据(Mysql->Hive)
Kettle
sqoop
阶段三
数据仓库理论+实战
阶段四
编写SQL实现以下业务分析,并按照数据仓库结构存出结果
基于日期的订单指标分析(4)
基于地域的订单分类指标分析(18)
基于用户的订单指标分析(24)
基于用户的退货指标分析(5)
阶段五
使用kylin对结果数据进行预计算
阶段六
点击流分析
阶段一
了解大数据离线数仓架构
了解项目部署环境(数据规模和集群规模)
了解项目ER图
了解项目需求
行业业务系统
商家入驻平台
平台进行资质审核
自己发布商
电商平台子系统
网站前台
运营商后台(JD/淘宝/天猫/拼多多)
商家管理后台(商家自己的后台)
项目业务流程
电商行业JD/淘宝/天猫/拼多多拥有的资源
用户
店铺/商家
项目的目标和意义
如何在海量的客户海量的商品之间找到结合点,达成更多的电子交易
能够在一定程度上促进消费。
项目能掌握的技能
1、数据仓库的概念和建设过程
2、离线数据仓库的功能、使用场景和常用的技术栈

上百节课视频详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 本课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业数仓架构的搭建及使用, 使用该架构可以胜任企业实时数仓和离线数仓构建。 课程内容: 1. 项目背景介绍 2. 数据建模应用 3. 基于Kylin的OLAP分析 4. 需求分析与项目设计 5. 订单与销售额指标计算 6.行为指标计算 7.Druid的安装和使用 8.流式数仓实现 适用人群: 1、对企业数据仓库构建感兴趣,有一定大数据基础。 2、对目前职业有进一步提升要求,希望从事数据行业高薪工作的在职人员。 3、对数据行业感兴趣的相关人员。 基础课程主讲内容包括: 阶段一:千亿实时数仓项目总体介绍 1. 数据仓库在企业里面的重要性 2. 千亿实时数仓项目演示 阶段二: 数据建模的应用 1. 为什么要数据建模 2. 维度和指标的概念 3. 指标和维度建模案例 阶段三. 数据仓库从0到1的过程 1. 数仓典型分层思想(ODS、DWB、DWS、DM、ADS) 2. 数仓建设0到1的过程实战 3. 企业数据仓库设计的规范 阶段四:基于Kylin的OLAP分析 1. Kylin自带的example案例介绍 2. Kylin的Cube创建 3. Kylin的数据膨胀介绍 阶段五:需求分析与项目设计 1. 需求分析 2. canal搭建 3. canal数据写入kafka 阶段六:订单与销售额指标计算 1. 销售额指标体系介绍 2. flink实时消费Kafka订单数主题数据 3. 订单金额指标统计 阶段七:行为指标计算 1. 模拟通过埋点方式采集行为数据 2. 使用Flink Streaming计算用户行为相关指标 3. Flink CEP实现转化率分析 阶段八: Druid的安装和使用 1. Druid实时数据摄入 2. Druid基于JSON查询语法 3. Imply Pivot可视化数据分析
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值