博客专栏  >  数据库   >  漫谈大数据

漫谈大数据

谈一谈大数据时代的数据开发、管理和使用的方方面面

关注
3 已关注
9篇博文
  • 漫谈千亿级数据优化实践:一次数据优化实录

    0x00 前言 即使没有数据倾斜,千亿级的数据查询对于系统也是一种巨大负担,对于数据开发来说,如何来优化它,既是挑战,也是机遇! 在上一篇文章 《漫谈千亿级数据优化实践:数据倾斜(纯干货)》中,我...

    2017-06-19 19:44
    2029
  • 漫谈数据仓库之维度建模

    0x00 前言 下面的内容,是笔者在学习和工作中的一些总结,其中概念性的内容大多来自书中,实践性的内容大多来自自己的工作和个人理解。由于资历尚浅,难免会有很多错误,望批评指正! 概述数据仓库包含的...

    2017-01-07 14:57
    2445
  • 漫谈数据仓库之SCD(缓慢变化维度)

    0x00 前言本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点,可参考这篇博客:《漫谈数据仓库之维度建模》。为什么会分享这个听起来很奇怪的东西?因为站在的笔者的...

    2017-04-11 11:16
    323
  • 漫谈千亿级数据优化实践:数据倾斜(纯干货)

    0x00 前言 数据倾斜是大数据领域绕不开的拦路虎,当你所需处理的数据量到达了上亿甚至是千亿条的时候,数据倾斜将是横在你面前一道巨大的坎。 迈的过去,将会海阔天空!迈不过去,就要做好准备...

    2017-04-23 18:29
    679
  • 大数据环境下该如何优雅地设计数据分层

    0x00 前言 最近出现了好几次同样的对话场景: 问:你是做什么的? 答:最近在搞数据仓库。 问:哦,你是传统行业的吧,我是搞大数据的。 答:…… 发个牢骚,搞大数据的也得...

    2017-06-17 21:47
    2783
  • 漫谈数据仓库之基本概念总结(不断更新)

    0x00 前言 整理一些数据仓库中的常用概念。大部分概念不是照搬书上的准确定义,会加入很多自己的理解。 0x01 概念数据仓库(Data Warehouse) 数据仓库,英文名称为Data W...

    2017-06-17 21:48
    676
  • Google和Linkedin的老司机是如何管理海量数据的

    0x00 前言 本篇分享是元数据管理的内容,主要参考Google在2016年发布的论文《Goods: Organizing Google’s Datasets》以及 Linkedin在2016年新...

    2017-06-17 21:49
    544
  • 漫谈数据质量监控

    0x00 前言 往往那些不起眼的功能,最能毁掉你的工作成果。 本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的。 假设你做了...

    2017-06-17 21:50
    922
  • 漫谈数据仓库之拉链表(原理、设计以及在Hive中的实现)

    0x00 前言 本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。 全文由下面几个部分组成: 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使...

    2017-01-07 20:15
    7246

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部