![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 58
马斯克的iphone
etl,sql,hive,mysql,oracle,数据开发,数据运维,数据架构,大数据架构,大数据开发,大数据运维。
展开
-
sparklivy0.7.1的安装和使用
sparklivy0.7.1的安装和使用下载安装spark,hadoop;下载安装sparklivy的bin-zip包:wget https://mirror.bit.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip 配置解压目录下的conf下的livy.conf.template文件为livy.conf,添加配置:livy.server.host = iplivy.se原创 2021-08-16 11:08:22 · 316 阅读 · 0 评论 -
处理数据仓库中的缓慢变化维度
数仓中的缓慢变化维度在数据仓库建设中,如果使用维度建模,就会考虑到一些特殊的维度的处理:缓慢变化维度。什么是缓慢变化维度?从原始层ods层的数据中进行整理,得到统一粒度的维度表、事实表,往往根据不同业务部门的需求会有各个不同的主题域的划分,而每个主题域就以一张事实表为核心。维度表的数据特征相对于事实表,通常是不经常变化的。但是,有些维度可能存在缓慢变化的过程。比如供应商、渠道、用户、产品编号等,可能随着时间推移,数据会有新的变化。这时候要考虑处理缓慢变化维度的方式。下面是比较常用的几种方式,主要依据原创 2021-03-09 22:04:22 · 269 阅读 · 0 评论 -
数据仓库建模的模型分类和特点
雪花模型、星型模型、星座模型的区别?介绍雪花模型:也可以交雪花模式、雪片模型、雪片模式,形状像❄️雪花。特点就是形似雪花,从中间放射状态扩展,然后每个节点还有扩展。这种数据表之间的特点是维度表围绕着某个事实表,然后这些维度是多层级的,通过外键关联(一般是id)。这种模型的特点显而易见,就是维度的层级关系特别明确,成放射状的树叶叶脉状生长。星型模型星型模型区别于雪花模型在于它的维度表不是多层级的,多个维度表围绕着一个事实表,将上图整理成星型模型:星星模型的维度表不存在多级别,而是将原创 2021-03-06 23:12:30 · 1093 阅读 · 0 评论 -
oracle和hive的行列转换,SQL行转列、列转行
oracle和hive如何实现行转列、列转行?现在有oracle表student:三个字段name、subject、score,里面的数据是:张三 语文 60张三 数学 70张三 英语 55李四 语文 90李四 英语 75李四 物理 30王五 语文 40王五 英语 80王五 物理 651. 用oracle S原创 2021-03-06 01:17:12 · 480 阅读 · 0 评论