数据仓库
文章平均质量分 94
柳小葱
北京市某高校管理科学与工程专业的学生,主要研究方向是人工智能与大数据,二进宫字节,曾担任字节跳动大数据开发实习生、滴滴出行数据研发及分析实习生,目前已获数据库系统工程师(软考中级)、阿里云大数据助理工程师(ACA)证书。欢迎大家一起学习和交流!
展开
-
数据仓库入门介绍
本篇文章将从初学者的角度,来介绍一下什么是数据仓库,以及数据仓库的理论基础,帮助大家快速了解这个概念。原创 2022-06-26 21:01:30 · 1413 阅读 · 5 评论 -
大数据之维度建模中的重要概念
🌸本篇博客,是在经历了小10轮大数据开发面试后,博主对大数据建模中,比较重要的知识点进行了梳理,截取了书中一些常考的概念,供大家参考。原创 2022-03-18 23:50:50 · 3030 阅读 · 1 评论 -
Hadoop数据仓库之数据治理
????数据治理这个问题对于我一个小白来说,好像有点宽泛,从我自己的感觉来说,数据治理应该是有过很多数据体系建设经验之后的一些总结,今天我们就参考一些大佬的建议,对谈一谈数据治理,对以往内容感兴趣的同学可以参考????:第一篇: Hadoop之数据仓库概述.第二篇: hadoop数仓建设之日志采集.第三篇: Hadoop数仓建设之数据同步.第四篇: Hadoop数仓建设之数据模型.第五篇: Hadoop数仓建设之指标管理.❄️从数据治理的理念上来看,“治”不应只在事后,更应在事前,“理”考验原创 2021-11-05 16:37:55 · 2447 阅读 · 3 评论 -
Hadoop数仓建设之指标管理
????今天主要想和大家介绍一下数据仓库的建设中关于数据表的设计,我们这里主要讲述当下较为流行的流式数据模型,往期的内容大家可以查看下面????:第一篇: Hadoop之数据仓库概述.第二篇: hadoop数仓建设之日志采集.第三篇: Hadoop数仓建设之数据同步.第四篇: Hadoop数仓建设之数据模型.????最近实习里自己负责了一个小项目,因为前面两个项目的数据仓库的设计都是带我的姐姐设计的,做到第三个的时候,我强烈要求自己独立完成数据源配置,数据仓库设计,数据开发这一套流程,于是将这原创 2021-09-12 13:43:12 · 1076 阅读 · 2 评论 -
hadoop数仓建设之离线数据开发
最近在学python的基础数据结构,主要原因是面试的算法题都是数据结构,想努力打打基础,但是作为一个人工智能与大数据领域的博主,还是要继续学习大数据的,今天我们就来介绍一下数据仓库的离线数据开发的过程吧,往期数仓的介绍在下面????:第一篇: Hadoop之数据仓库概述.第二篇: hadoop数仓建设之日志采集.第三篇: Hadoop数仓建设之数据同步.大数据之路任重道远,借着公司有大数据的平台赶紧把大数据好好学习一下,今天要介绍的离线数据开发和我目前的工作简直如出一辙,我知道在平台上该怎么操作原创 2021-08-08 23:00:21 · 1521 阅读 · 1 评论 -
Hadoop数仓建设之数据同步
????大数据道漫漫,其修远兮,今天继续我们数仓建设的第三篇文章,关于数据同步的知识,没有看过前面文章的同学可以参考下面的链接????:第一篇: Hadoop之数据仓库概述.第二篇: hadoop数仓建设之日志采集.????数仓的数据同步在数仓中的重要性不言而喻,数据同步通俗的解释就是不同系统间的数据流转,数据备份,数据传输交换等等。...原创 2021-07-23 17:13:28 · 1871 阅读 · 3 评论 -
hadoop数仓建设之日志采集
????近期准备系统地学习一下数据仓库的建设,首先说明一下,传统的数据仓库其实已经不太适用于现在很多公司的环境,尤其是像阿里、腾讯,百度等一些大型公司,都会有自己的数据仓库建设方式,我们这里介绍的数仓是比较贴近这些大型企业的生产环境。ps:其实主要是因为实习这里的数仓建设很成熟,自己就边学习,边实践,记录一下。前对数据仓库感兴趣的同学可以查看:????第一篇: Hadoop之数据仓库概述.<><>...原创 2021-07-20 09:49:22 · 1381 阅读 · 0 评论 -
Hadoop之数据仓库概述
????大家好久不见了,最近实习比较忙,但也在实习过程中发现了自己的不足,今天我们就来讲一讲数据仓库的建设(大厂数据开发实习)有很完整的数仓体系,所以这方面的知识是需要进行系统学习的。有必要说明,本文是在流行的大数据分布式存储和计算平台Hadoop上设计实现数据仓库。 1.数据仓库1.1 数据仓库的历史数据仓库的概念可以追溯到20世纪80年代,当时IBM的研究人员开发出了“商业数据仓库”。本质上,数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。数据仓库概念的提出,是为了解决和这个数据流原创 2021-07-10 09:48:16 · 4942 阅读 · 9 评论