黑马_大数据千亿级数仓实战_笔记

最新推荐文章于 2024-05-14 18:58:26 发布
最新推荐文章于 2024-05-14 18:58:26 发布
阅读量499 收藏 4
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45204457/article/details/116832715
版权

一、kettle介绍

二、数据仓库开发

1. 表结构介绍和导入数据

2. 缓慢变化维

a.拉链表存储历史快照代码实现

操作步骤：
在原有dw层表上，添加额外的两列：生效日期（dw_start_date）、失效日期（dw_end_date）；
只同步当天修改的数据到ods层；
拉链表算法实现：编写SQL处理当天最新的数据；编写SQL处理dw层历史数据，重新计算之前的dw_end_date；
拉链表的数据为：当天最新的数据 UNION ALL 历史数据
代码实现
2019年12月20日数据
1.MySQL数据库导入12月20日数据（4条数据）
在这里插入图片描述
2.全量同步MySQL数据到Hive ods层表
3.编写SQL从ods导入dw当天最新的数据

-- 从ods层导入dw当天最新数据
insert overwrite table `<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
风满楼i
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
订阅专栏
黑马在线教育数仓实战5
Amzmks的博客
04-13 893
5. 意向用户主题看板_全量流程。
实时--千亿级数仓项目-黑马
紫蝶侠的博客
05-03 1258
state（状态）：可以看成一个中间结果存储系统。 将source -> map -> faile->rdurce ->…-> sink 每个算子的计算成功结果存储起来，方便系统宕机重启后直接中状态存储中拿出计算结果继续计算，不必再重新计算。 1. 使用到的技术 Canal客户端采集binlog消息 （mysql->kafka/hdfs） 理解google ProtoBuf序列化方式 (提高网络传输效率) 2.实时计算应用场景及技术选型 实时计算在公司的用处 公司内已
黑马数据管理平台项目知识点总结
最新发布
guai_guai_guai的博客
05-14 694
概念：访问权限的令牌，本质上是一串字符串创建：正确登录后，由后端签发并返回作用：判断是否有登录状态等，控制访问权限目标：只有登陆状态，才可以访问内容页面在utils/auth.js中判断无token令牌字符串，则强制跳转到登录页（手动修改地址栏测试）在登录成功后，保存token令牌字符串到本地，再跳转到首页（手动修改地址栏测试）注意：前端只能判断token的有无，后端可以通过解密提取token字符串的原始信息，判断有效性// 判断无token令牌字符串，则强制跳转内容列表页面if(!
大数据超详细面试题汇总（附答案）
热门推荐
qq_45132574的博客
07-31 1万+
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台Hdfs 是一个分布式文件系统，用来存储文件，通过目录树来定位文件Hdfs适合一次写入，多次写出的文件场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用NameNode : 管理HDFS的命名空间，配置副本策略，管理block的映射信息，处理客户端读写请求。
最近整理的一些常见的面试题，面试大全，黑马程序员面试宝典题库---数据库--篇
高数老师的博客
09-03 4624
一、 Mysql 1. SQL 的 select 语句完整的执行顺序 SQL Select 语句完整的执行顺序： 1、 from 子句组装来自不同数据源的数据； 2、 where 子句基于指定的条件对记录行进行筛选； 3、 group by 子句将数据划分为多个分组； 4、使用聚集函数进行计算； 5、使用 having 子句筛选分组； 6、计算所有的表达式； 7、 select 的字段； ...
黑马Java热门面试题MySQL（五）
dengfengling999的博客
11-01 629
用 B+ 树不用 B 树考虑的是 IO 对性能的影响，B 树的每个节点都存储数据，而 B+ 树只有叶子节点才存储数据，所以查找相同数据量的情况下，B 树的高度更高， IO 更频繁。• 在 B+ 树中，一个节点中的 key 从左到右非递减排列，如果某个指针的左右 相邻 key 分别是 key i 和 key i+1，且不为 null，则该指针指向节点的所有 key 大于等于 key i 且小于等于 key i+1。站在执行计划的角 度来说，我们这个过程，就是在不断的减少 rows 的数量。
千亿级实时数仓-讲义.rar
04-06
总的来说，千亿级实时数仓是一个涉及多种技术和工具的复杂系统，它需要深入理解数据处理流程，掌握Java等编程语言，以及对大数据生态系统的熟练运用。只有这样，才能构建出既能处理海量数据，又能提供快速响应的实时...
大数据企业级项目用户画像实战
05-30
大数据企业级项目用户画像实战从0手把手设计、开发教学，实现用户标签化，精准定位与营销 第一章用户画像概念讲解，项目及环境构建 第二章数据ETL迁移、标签模型Oozie调度、标签存储与计算 第三章标签模型开发、规则...
黑马程序员_hibernate框架开发2016版讲义和笔记资料_day02
07-28
《黑马程序员_hibernate框架开发2016版讲义和笔记资料_day02》 本文将深入探讨2016年黑马程序员发布的Hibernate框架开发课程的第二天内容。Hibernate，一个强大的Java持久化框架，简化了数据库操作，为开发者提供了...
大数据开发之Hbase基本使用及存储设计实战教程（视频+笔记+代码）
04-17
├─01_讲义 │ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 │ Day1503_Hbase与MYSQL的存储比较.mp4 │ Day1504_Hbase部署环境...
2022 黑马大数据学习教程（课件+视频+资料）
12-03
《2022最新版黑马程序员大数据学习路线图》高清视频+课件资料，课程涵盖：大数据开发入门、大数据核心基础、千亿级数仓技术、PB级内存计算。
传智播客大数据就业班完整版
12-11
包括Hdfs,MapReduce,Yarn,Hive,Hbase,Zookeeper,Flume,Sqoop,Kafka，Scala,Spark
大数据全套+面试（2018年中高级）（网盘压缩）
05-22
2018年中出的大数据全套视频，包含面试教程。2018年中出的大数据全套视频，包含面试教程。2018年中出的大数据全套视频，包含面试教程。
大数据实战【千亿级数仓】阶段一
大数据梦想家
05-04 1万+
        最近开始上手一个大数据离线数仓项目。本篇博客先为大家进行一个总体的介绍，包括各个阶段的任务以及项目的简介，环境，需求等等…         码字不易，先赞后看 ! 总体介绍 阶段一         了解行业背景、了解项目背景，项目架构介绍、技术选型，项目
黑马大数据JAVAEE+Hadoop （14.4-8月高清完整版）
xianhe1973的博客
03-06 2494
• UI设计师零基础入门到精通精品视频教程【155课高清完整版】 • 2015年最新IOS9教程（8-12月高清完整版） • 大数据JAVAEE+Hadoop （14.9-15.2高清完整版）电商巴巴运动网项目 • VMware服务器虚拟化视频教程套餐【32课高清完整版】下载地址http://feixueteam.net/thread-633-1-2.html
千亿级数仓项目（一）
Daivei_lai的博客
05-12 593
千亿级数仓项目（一）总体介绍阶段一千亿级数仓项目简介大数据离线数仓项目架构（需要修改）项目技术简介项目环境介绍项目ER图 前言 学了这么久大数据技术，也是时候搞个项目练练手了，现在就来看看我们接下来要肝的项目。 总体介绍 阶段一 了解行业背景、了解项目背景，项目架构介绍、技术选型，项目环境（数据/硬件）介绍，项目ER图、项目需求介绍。 基于项目需求实现查询功能（写SQL）或整理出查询流程 阶段二 学习、掌握kettle的使用、使用kettle将项目需求所需的数据在MYsql同步到Hive 使用sqoop,将
实战大数据黑马ClickHouse
weixin_37727274的博客
06-28 1268
为什么要使用ClickHouse 在项目立项之初，对于数据仓库这块的建设，其实有很多的技术选择，根据官方对比数据显示，100M数据集的跑分结果：ClickHouse比Vertia快约5倍，比Hive快279倍，比My SQL 快801倍。Vertia是商业软件，收费且不开源，小公司搞不起；Hive依赖于hadoop生态圈的，需要部署的组件太多了，成本太高，且甲方可能不太愿意提供那么多服务器，也不愿意虚拟化服务器，且虚拟化后的性能比较进一步衰弱；mysql就不用考虑了，大量数据的存储只能靠分库分表，复杂且麻烦
2020年大数据开发面试题汇总（持续更新）
一行玩python
04-22 1万+
笔试题汇总 20190422： 在linux里找文件 sql题 mapreduce原理，排序算法 大数据处理积累的经验----例如数据倾斜 高效构建大数据仓库的认识和理解
黑马redis笔记高级 Op
09-12
黑马Redis笔记中的高级操作包括以下几个方面： 1. 发布与订阅（Pub/Sub）：Redis支持发布与订阅模式，可以实现消息的发布和接收。通过使用PUBLISH命令发布消息，使用SUBSCRIBE命令订阅消息。 2. 事务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值