![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
GamblingTrailer
这个作者很懒,什么都没留下…
展开
-
Spark SQL中外连接查询中的谓词下推规则
SparkSqlSparkSql是架构在spark计算框架之上的分布式Sql引擎,使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理,提供的DSL可以直接使用scala语言完成sql查询,同时也使用thrift server提供服务化的Sql查询功能。SparkSql提供了Data Source API,用户通过这套API可以自己开发一套Connector,直...转载 2019-11-07 10:25:53 · 215 阅读 · 0 评论 -
数据仓库之拉链表(一) 概念理解
拉链表是针对数据仓库设计中表存储数据的方式而定义的,就是记录历史数据的每个状态,记录一个事物从开始,一直到当前状态的所有变化的信息;拉链表通常是对账户信息的历史变动进行处理保留的结果使用场景:数据量比较大; 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态, 比如...转载 2019-10-29 22:53:53 · 712 阅读 · 0 评论