小黎子数据分析
文章平均质量分 89
主要介绍后端数据仓库以及前端可视化方面常用的技巧,以及作者实际工作中解决问题的方法,只聊自己在项目实施中的收获。
黄昏前黎明后
小黎子,一个专注于数据分析整体数据仓库解决方案的程序猿!原创文章资料获取请进个人公众号:小黎子数据分析
展开
-
数据处理编写一段高质量的SQL代码,你需要做到这几点
小黎子作为程序猿的一员,今天我就和大家一起来聊聊如何在数据处理时编写一段高质量的SQL代码。其实在选这个话题时,自己心里是没有底的。大部分关注小黎子数据分析的都是学习或者从事数据行业的小伙伴。懂SQL的大神越来越多,如果说的不到位,那就糗大了。技术这东西没有模棱两可,一就是一,二就是二。以下只是根据小黎子自己的工作经验分享,希望对大家有所帮助。程序猿在写代码时的一些痛苦。如何通过一些工具来辅助更加高效的完成SQL编程。我们都知道在写SQL代码的过程中,总会遇到一些奇奇怪怪的问题,比如常见的少了个原创 2021-07-04 22:57:56 · 431 阅读 · 2 评论 -
数据仓库系列之ETL中常见的增量抽取方式
为了实现数据仓库中的更加高效的数据处理,今天和小黎子一起来探讨ETL系统中的增量抽取方式。增量抽取是数据仓库ETL(数据的抽取(extraction)、转换(transformation)和装载(loading))实施过程中需要重点考虑的问题。ETL抽取数据的过程中,增量抽取的效率和可行性是决定ETL实施成败的关键问题之一,做过数据建模的小伙伴都知道ETL中的增量更新机制比较复杂,采用何种机制往往取决于源数据系统的类型以及对增量更新性能的要求。今天我们只重点对各种方法进行对比分析,从而总结各种机制的使用条件原创 2021-04-05 21:10:49 · 1863 阅读 · 0 评论 -
微软BI实战:微软BI ETL工具安装及认识工作区
微软BI是一套完善、完全集成的 BI 技术。它由三大部分组成, 它们分别是SSIS, SSAS, SSRS。然而我们要学习SSIS,SSAS,SSRS就需要下载安装微软BI原生态的ETL开发工具SSDT。SSDT全称Microsoft SQL Server Data Tools,它是微软的一款BI开发工具,用于生成 SQL Server 关系数据库、Azure SQL 数据库、Analysis Services (AS) 数据模型、Integration Services (IS) 包和 Reporting原创 2020-08-04 22:58:56 · 1213 阅读 · 0 评论 -
微软BI实战:初识微软BI
随着移动互联网、云计算、物联网和大数据技术的广泛应用,社会已经迈入全新的数据时代。掌握数据资产,进行智能化决策,已成为企业胜出的关键。越来越多的企业开始重视数据战略布局,重新定义自己的核心竞争力,从数据中揭示规律,了解过去、知悉现在、洞察未来,数据驱动企业运行与决策的科学性,构建智慧企业,打造核心竞争力。一、什么是微软BI?Microsoft BI(BI是BusinessInteligence缩写),微软商业智能。微软BI是一套完善、完全集成的 BI 技术,能够帮助降低组织和分发信息的复杂度,.原创 2020-07-28 18:32:39 · 481 阅读 · 0 评论 -
数据分析你需要知道的操作:ETL和ELT
如果您接触过数据仓库, 您可能会使用 ETL (Extract、 Transform、 Load) 或 ELT ( Extract、Load、 Transform) 将您的数据从不同的来源提取到数据仓库中。这些是移动数据或集成数据的常用方法, 以便您可以关联来自不同来源的信息, 将数据安全地存储在一个位置, 并使公司的成员能够从不同业务部门查看综合数据。ETL和ELT两个术语的区别与过程的发生顺序...原创 2020-03-08 21:30:48 · 1100 阅读 · 0 评论 -
数据仓库系列之关于数据仓库自动化技术
目前市面上的BI工具都在提及敏捷BI解决方案。敏捷BI解决方案所提供的自动化技术支持主要是从数据源取数到BI前端工具展现。这样的敏捷BI解决方案在企业数据量不是很庞大的情况下,还是很好的支撑运行。PowerBI可以支持较为大量的数据处理,但是对于硬件设备的要求也是非常高的。但是数据量变得越来越庞大就会导致BI报表出现运行缓慢,大屏展现出现数据延迟等等现象。如果项目较小例如上图中的动态销售报...原创 2019-09-18 19:04:05 · 412 阅读 · 0 评论 -
数据仓库系列之数据质量管理
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。一、数据质量数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越...原创 2019-09-11 21:25:12 · 771 阅读 · 0 评论 -
数据仓库系列之元数据管理
元数据(Meta Data),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿了数据仓库的整个...原创 2019-09-06 21:32:01 · 1230 阅读 · 0 评论 -
数据仓库系列之总线架构
总线架构是数据仓库建设的总体规划,从整体视角描述了解决方案的维度模型,描述了各个子系统的功能以及关系,描述数据从源系统到决策系统的数据流程,提供建立企业数据仓库系统的增量式方法。业务需求回答了要做什么,总线架构就是回答怎么做的问题。一、数据仓库整体解决方案架构 数据仓库的核心功能从源系统抽取数据,通过清洗、转换、标准化,将数据加载到BI平台,进而满足业务用户的数...原创 2019-09-01 11:27:04 · 1065 阅读 · 0 评论 -
数据仓库系列之维度建模
上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库,从本周开始我们开始一起学习数据仓库。学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展,其中Inmon主张自上而下的架构,不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构...原创 2019-08-12 14:19:53 · 210 阅读 · 0 评论 -
数据仓库系列之ETL过程和ETL工具
上周因为在处理很多数据源集成的事情一直没有更新系列文章,在这周后开始规律更新。在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素,在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。一、什么是ETL? 构建数据仓库的核心是建模,在数据仓库的构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线。从数据源中抽取数据,然后对这些数据进行转化,最终加载到目标数据...原创 2019-08-25 16:03:41 · 1010 阅读 · 0 评论 -
数据仓库系列之维度建模二
在上一篇文章中我们简单介绍了什么是维度建模以及维度建模的基本要素,这篇文章中我开始针对事实表和维度表的类型介绍。 一、事实表 事实表存储了从业务活动或事件提炼出来的性能度量,它主要包含维度表的外键和连续变化的可加性数值或半可加事实。事实表产生于业务过程中而不是业务过程的描述性信息。它一般是行多列少,占据数据仓库大约90%的空间。在维度模型中也有表示...原创 2019-08-20 18:37:00 · 807 阅读 · 0 评论 -
为什么数据分析中要建数据仓库?
为什么数据分析中要建数据仓库?最近在博客园上看到一篇文章,关于数据仓库建设相关的。我之前一直通过PowerQuery进行数据加工处理,再使用PowerBI Desktop进行数据分析展现,没有单独构建数据仓库的概念。通过这个文章找到中软易通官网,了解一些免费的ETL工具介绍和视频后发现原来建立数据仓库确实可以比较简单。(注意:这里的简单是相对的,主要还是我们需要有数据仓库相关的知识尤其是数据仓库...原创 2019-08-06 20:58:31 · 618 阅读 · 0 评论