尚硅谷大数据项目《在线教育之实时数仓》笔记001

最新推荐文章于 2024-05-13 22:25:39 发布
最新推荐文章于 2024-05-13 22:25:39 发布
阅读量573 收藏
点赞数 1
分类专栏： # 大数据数仓 文章标签： 大数据 数据仓库 实时数仓
希望对您有所帮助；知识共享，欢迎转载，转载时：请附上原文链接！
本文链接：https://blog.csdn.net/weixin_44949135/article/details/132805955
版权
本文是尚硅谷大数据项目《在线教育之实时数仓》的笔记，涵盖实时数仓架构介绍、数仓模型搭建（如星型模型和雪花型模型）、以及Suger可视化大屏展示的内容。
摘要由CSDN通过智能技术生成

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili

目录

P001

P002

P003

P004

P005

P001

以在线教育采集系统和离线数仓为前置基础，分为三个部分讲解：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。

P002

P003

P004

第2章 数据仓库建模概述

第3章 维度建模理论之事实表

第4章 维度建模理论之维度表

数据仓库系列：星型模型和雪花型模型 - 知乎

P005

第5章 数据仓库设计

upward337
关注
专栏目录
订阅专栏
尚硅谷大数据项目《在线教育之离线数仓》笔记001
upward
08-14 1148
尚硅谷大数据项目《在线教育之离线数仓》笔记001
尚硅谷大数据项目《在线教育之实时数仓》笔记008
upward
11-27 378
尚硅谷大数据项目《在线教育之实时数仓》笔记008
尚硅谷大数据项目之电商数仓用户行为采集平台1
08-04
第 1 章 数据仓库概念尚硅谷大数据项目之电商数仓（用户行为数据采集）更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
应用实践｜ 新东方在线教育实时数仓的落地实践
huzechen的博客
10-21 421
背景介绍在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。然而...
在线教育项目——数仓实战（二）
爱吃薄荷糖的喵喵的博客
01-11 1138
如果数据来源于文本文件, 可能会需要先对这些文本文件进行预处理(spark)操作, 将其中不规则的数据, 不完整的数据, 脏乱差的数据先过滤掉, 将其转换为一份结构化的数据, 然后灌入到ODS层。​Oozie来源于apache, 出现时间较早一款工作流调度工具
在线教育(Hive数仓）
SpringHeather的专栏
09-06 330
分析数据：日志数据（app 小程序启动，用户行为,json），业务数据（订单） 前端埋点 onCLick,ajax，后端埋点 数据仓库分析任务：流量主题：新增，活跃，留存 ；用户行为主题：专栏课学习 ；学情主题：训练营学员 相关人员：数据产品经理，前端工程师，数据清洗，数据分析，数据展示（java) 埋点方法：手动埋点（页面，按钮id，时间类型） 无痕埋点（友盟，百度移动，魔方等） 软件：选择半年期的版本（CDH 学习CDH集群环境的搭建（虚拟机可演示），第一个系统内存建议大一些,不少于3G运行内存
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4262
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
尚硅谷大数据项目《在线教育之实时数仓》笔记003
upward
10-24 1108
尚硅谷大数据项目《在线教育之实时数仓》笔记003
s硅谷大数据项目之Flink实时数仓完整版
04-10
001-实时数仓(课程介绍 CDC介绍）.mp4 003-实时数仓(CDC编码 DataStream方式 断点续传）.mp4 004-实时数仓(CDC编码 FlinkSQL方式）.avi 008-实时数仓(采集模块 课程介绍）.avi 009-实时数仓(采集模块 分层介绍...
大数据教育数仓之在线教育项目回顾
Maynor的博客
07-26 654
Hadoop：HDFS读写原理，YARN中程序运行流程、端口号、哪些进程、MapReduce运行过程。分桶表：减少了比较次数，实现数据分类，大数据拆分，构建Map Join。基本原因：这个ReduceTask的负载要比其他Task的负载要高。方案二：skewjoin：避免数据倾斜的Reduce Join过程。分区表：减少了MapReduce输入，避免不需要的过滤。默认分区：根据K2的Hash值取余reduce的个数。虚拟内存不足：调整虚拟内存的比例，默认为2.1。：掌握Hive的常见优化。
Flink电商实时数仓项目05-数据可视化
qq_43523503的博客
03-06 644
1 数据可视化接口 1.1 设计思路 之前把轻度聚合的结果都保存到了ClickHouse中，主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示，一种是为专业的数据分析人员的BI工具，另一种是为非专业人员提供更加直观的数据大屏。 ​ 下面主要是面向百度的sugar的数据大屏服务的接口开发。 1.2 需求梳理 1.2.1 最终效果 1.2.2 分析可视化大屏 组件名称 组件 查询指标 对应的数据表 总成交金额 数字翻牌 订单总金额 product_stats
实时--千亿级数仓项目-黑马
紫蝶侠的博客
05-03 1299
state（状态）：可以看成一个中间结果存储系统。 将source -> map -> faile->rdurce ->…-> sink 每个算子的计算成功结果存储起来，方便系统宕机重启后直接中状态存储中拿出计算结果继续计算，不必再重新计算。 1. 使用到的技术 Canal客户端采集binlog消息 （mysql->kafka/hdfs） 理解google ProtoBuf序列化方式 (提高网络传输效率) 2.实时计算应用场景及技术选型 实时计算在公司的用处 公司内已
基于Flink构建全场景实时数仓
很多时候犯错都是在不知情的情况下发生的
12-16 277
进入主页，点击右上角“设为星标”比别人更快接收好文章本文目录：一. 实时计算初期二. 实时数仓建设三. Lambda架构的实时数仓四. Kappa架构的实时数仓五. 流批结合的实时数仓。
基于 Apache Doris 打造离在线一体化实时数仓
最新发布
qq_38312629的博客
05-13 1783
本篇主要从架构设计角度来阐述如何基于 Apache Doris 构建离在线一体化实时数据仓库，从理论原理到实际落地的框架性说明。
3.数仓项目—数据生成模块
weixin_45267102的博客
09-01 571
文章目录数据生成模块1. 目标数据1.1 页面数据1.2 事件数据1.3 曝光数据1.4 启动数据1.5 错误数据2. 数据埋点2.1 主流埋点方式（了解）2.2 埋点数据日志结构普通页面埋点日志格式启动日志格式2.3 埋点数据上报时机3. 代码模拟生成数据4. 模拟数据4.1 配置文件说明application.properteis文件path2.json4.2 日志生成命令4.3 集群日志生成脚本lg.sh☆ 数据生成模块 1. 目标数据 我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启
在线教育项目——数仓实战（一）
爱吃薄荷糖的喵喵的博客
01-09 1630
​ 基于cloudera manager大数据统一管理平台, 在此平台之上构建大数据相关的软件(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE…), 除此以外, 还使用FineBI实现数据报表展示
1——Hive数仓项目完整流程（在线教育）
m0_57588393的博客
11-06 2401
在线教育数仓实战
实时计算 Flink 版 最佳实践
阿里云云栖号
08-13 1899
简介：实时计算 Flink 版 最佳实践目录 金融行业 行业背景 金融是现代经济的核心。我国金融业在市场化改革和对外开放中不断发展，金融总量大幅增长。金融稳定直接关系到国家经济发展的前途和命运，金融业是国民经济发展的晴雨表。对我国金融业发展现状进行客观分析，对金融业发展趋势进行探索，有助于消除金融隐患,使金融业朝着健康、有序方向发展。 解决方案 金融行业的实时数仓建设实践 IoT行业 行业背景 物联网(Internet of Things，以下简写为 IoT)是互联网、传统电信网等资讯的承.
【Doris】新东方在线教育实时数仓的落地实践
m0_54252387的博客
07-12 791
背景介绍在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。然而，随着在线教育快速发展市场竞争非常激烈，T+1 的方式在某些需求上很难对业务产生实际的价值，很可能因为数据延迟导致业务动作滞后，管理要求跟进不及时，最终导致客户流失，影响公司业务发展。目前我们遇到的主要痛点如下：**续费业务场景：**在线教育上课主要分为 4 个时段（春季，暑假，秋季，寒假）。当每一个时段上课要结束的时候，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

upward337

谢谢老板~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值