数据仓库
文章平均质量分 95
lzq20115395
这个作者很懒,什么都没留下…
展开
-
淘宝api
相近负责的项目,需要对接淘宝提供的 淘宝api,获取淘宝客的订单数据。在此过程中遇到了很多坑,特在此mark一下,可能对于一些大佬来说很简单,如果发现有错误欢迎指出。所有过程如下所示:基于Intellij IDEA 创建Maven项目将淘宝API依赖的jar包安装到本地maven仓库根据公开的请求实例编写java脚本,获取返回的订单数据(Jason格式)以javabean的形式解析js...原创 2018-07-28 17:48:50 · 9093 阅读 · 12 评论 -
数据库范式与反范式
最近涉及到设计和建立数仓表,数据总体划分为ods/fact/aggr/dws/rpt/dim层,具体结构如下图所示: 遵从设计规则:以星型模型为设计模式, 维度采用反范式化, 且维度数据要整个仓库可共用, 数据准确性要保证, 事实表允许冗余部分维度数据。针对其中几个地方,解释并mark一下。设计模式多维数据模型是最流行的数据仓库的数据模型,多维数据模型最典型的数据模式包括星型模式、雪...原创 2018-07-26 21:26:58 · 1152 阅读 · 0 评论 -
面试总结
今天面试了某电商公司数据开发,针对里面的部分问题,做个总结,顺带整理学习一波:1.编程题:n个数求topk和前序遍历的递归非递归版本2. hive中parquet格式的具体含义,与textfile比有什么不同,两者的适用场景有啥区别?3. 拉链表相关4. hive中并行执行 网上关于这些问题已经有很好的回答了,就不重复造轮子了。这里给出答案连接。剑指offer原题。http...原创 2018-09-06 09:04:03 · 303 阅读 · 0 评论