数仓笔记-一个架构

最新推荐文章于 2024-09-07 16:33:29 发布
最新推荐文章于 2024-09-07 16:33:29 发布
阅读量71 收藏
点赞数
分类专栏： 数据仓库 文章标签： hive 数据仓库 数据架构 bi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yezhoumin/article/details/113656463
版权

直接上图
在这里插入图片描述
心得

  • 中小型架构（TB级），搭建简单快速
  • 推荐使用binlog方式获取数据，datax等抽取数据方式经常报错重试告警
  • JDBC方式访问impala，可同时访问hive中的离线表和kudu中的实时表
  • impala并发量不高，需要在BI端做缓存优化或者导出数据到mysql、elasticsearch等数据存储查询工具
古 原
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4178
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
数仓笔记
码基的博客
07-20 471
数仓规范 1 定义 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。 技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库用的数据。包括：数据源信息；数据转换的描述；数据
尚硅谷电商实时数仓笔记-《一》数仓概述
weixin_40968325的博客
07-30 184
实时数仓与离线数仓概述
数仓架构流程一
YP999999的博客
06-28 529
数仓第一步调研：调研主要是两个方向：业务调研和规范制定
数仓4.0笔记2022-02-07
02-07
数仓4.0是当前大数据领域的一个热点话题，它代表了数据仓库技术的最新发展，旨在提供更高效、更灵活且智能化的数据管理解决方案。在这个笔记中，我们将深入探讨数仓4.0的核心概念、特点以及它如何改变数据分析的格局...
离线数仓项目-生鲜甄选
2301_80004159的博客
11-23 149
甄选生鲜新零售项目。
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
prague6695的博客
08-11 2539
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
最新实时数仓之实时数仓架构(Hudi)(1)
2401_84166327的博客
05-04 474
目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。本文针对Flink+Hudi湖仓一体架构进行介绍，这套架构的特点是可以基于一套数据完全实现Lambda架构。采用维度模型标准三层架构，ODS/DWD/DWS/DIM/ADS，分层架构符合Kimball维度模型建仓指导原则。可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
Servlet-学习笔记-上
2301_79070677的博客
09-04 1160
静态资源无需再程序运行时通过代码生成的资源，再程序运行之前就写好的资源，例如html css js img ，音频文件和视频文件动态资源需要在程序运行时通过代码运行生成的资源，在程序运行之前无法确定的数据，运行时动态生成，例如Servlet，Thymeleaf......动态资源指的不是视图上的动画效果或者是简单的人机交互效果生活举例去蛋糕店买蛋糕直接买柜台上已经做好的：静态资源和柜员说要求后现场制作：动态资源。
hive学习（六）
2301_79721847的博客
09-01 560
Lateral View可以将UDTF应用到源表的每行数据，将每行数据转换为一行或多行，并将源表中每行的输出结果与该行连接起来，形成一个虚拟表。---posexplode（将array集合的元素及其下标分成两列显示出来)可分为日期函数，字符串函数，集合函数，数学函数和流程控制函数等。----explode(将map类型集合炸裂成2列)---explode(将一个数组炸裂成多行)UDTF，接收一行数据，输出一行或多行数据。特点：输入一行，输出一行（一进一出）8）炸裂函数（UDTF)---inline函数（
starrocks结合同步和异步物化视图建立数据湖和数据仓库
m0_37714848的博客
09-07 587
物化视图（Materialized View）是一种数据库对象，它存储了查询的结果，从而避免了在每次查询时都需要重新计算。同步物化视图：视图的数据在每次数据更新时都会同步更新。这确保了视图中的数据始终与基础表的数据一致，但也可能对性能产生影响，特别是在高并发更新的情况下。异步物化视图：视图的数据不会立即更新，而是会在后台异步地进行更新。这可以减少对基础表更新操作的影响，提高系统的总体性能，但可能会导致视图中的数据与基础表数据不完全一致，直到异步更新完成。
中国石油大学(北京)克拉玛依校区在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
浙江越秀外国语学院在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
网站模板源代码（组件划分规范，二改省力）
最新发布
09-08
组件划分规范，二改省力！！！
华中科技大学 Java课程设计实验.zip
09-08
华中科技大学 Java课程设计实验.zip
4G语音质差参数优化调整建议.xlsx
09-08
4G语音质差参数优化调整建议
仲恺农业工程学院在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
《Java语言程序设计（基础篇）》课后编程练习题.zip
09-08
《Java语言程序设计（基础篇）》课后编程练习题
Go语言学习笔记 - 雨痕
笔记内容包括了多个章节，每个章节都专注于一个特定的Go语言概念： 1. 第一部分：Go语言 - 第1章 基础 - 变量：介绍如何声明和使用变量 - 基本类型：如整型、浮点型、布尔型、字符串等 - 类型转换：如何在不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值