数据的分层

数据的分层

一、层级划分

	ODS:存放原始数据
	DW:存放数仓中间层数据
	APP:面向业务定制的应用数据

在这里插入图片描述

一、数据运营层:ODS(Operational Data Store)

  • 面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。

  • 一般来讲,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。

二、数据仓库层:DW(Data Warehouse)

  • 数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。DW层又细分为 DWD(Data Warehouse Detail)层、DWM(Data WareHouse Middle)层和DWS(Data WareHouse Servce)层。

  • 1.数据明细层:DWD(Data Warehouse Detail)
    该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。

另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一张表中,提高数据的可用性,后文会举例说明。

  • 2.数据中间层:DWM(Data WareHouse Middle)
    该层会在DWD层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。

直观来讲,就是对通用的核心维度进行聚合操作,算出相应的统计指标。

  • 3.数据服务层:DWS(Data WareHouse Servce)
    又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。
	一般来讲,该层的数据表会相对比较少,一张表会涵盖比较多的业务内容,由于其字段较多,
因此一般也会称该层的表为宽表。
	在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度
太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽
表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

三、数据应用层:APP(Application)

  • 在这里,主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、PostgreSql、Redis等系统中供线上系统使用,也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。比如我们经常说的报表数据,一般就放在这里。

四、数据的存储

在这里插入图片描述

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: GIS是一种空间数据处理和分析工具,而shp数据则是GIS中最为常见的操作格式,其可以支持多种空间数据的存储和管理。分层也是GIS中的一种常见操作,可以有效地将数据按照不同层次进行分类和管理。 首先,GIS中的shp数据可以通过分层来管理。通过将数据按照不同的层次进行分类存储,可以提升数据的管理效率,同时也能更加方便使用和处理数据。这种分层管理方式不仅可用于不同空间数据的分类,也可以应用于属性数据的管理。 其次,通过数据分层,可以方便地进行数据的组合和分析。因为分层数据按照不同的层次进行分类,每一层数据之间都有其内部的关系和特征,这样就可以方便进行数据的组合和拼接。而当需要进行数据分析时,也可以将不同层次的数据进行分类,分别进行分析和比较。 最后,分层还可以为数据可视化提供支持。随着数据量的增加,数据的可视化变得越来越重要,通过将数据进行分层,可以将复杂的数据结构简化为易于理解的数据图层,更加方便进行数据可视化和地图制作。 总之,GIS shp数据分层是一种非常常见和实用的操作,它可以提高数据管理效率、方便数据的分析和管理、及数据的可视化,是GIS操作中的一项重要技术。 ### 回答2: GIS shp数据分层指的是将一个大的空间数据集按照不同的层次进行划分和组织,使得数据的结构化程度更高,方便数据的管理和应用。 在GIS中,shp文件是一种矢量数据格式,它通常包含点、线和面等多种几何形状对象,以及与这些对象有关的属性信息。而分层是指通过对这些空间对象进行分类和筛选,将其划分为不同的数据层,每个数据层包含一定类别的对象,如道路、河流、建筑物等。 通过分层,可以实现对空间数据的分类和组织,便于对数据进行管理和利用。在GIS应用中,常常需要使用多个数据层进行叠加分析,以获取更为丰富的信息。 例如,在城市规划中,通过将建筑物、道路、河流等空间对象分别划分到不同的层级,可以对每个层级进行独立的分析和处理,以支持城市规划的决策和管理。在资源管理中,将森林、草原、湖泊等不同的生态系统划分到不同的数据层中,可以帮助管理者更清晰地了解各个生态系统的现状和变化趋势,从而制定更为有效的管理方案。 总之,GIS shp数据分层是一种将多个空间对象按照类别进行管理和组织的方法,具有重要的数据管理和分析价值,在GIS应用中得到了广泛应用。 ### 回答3: GIS中的shp数据分层是指将一个大的地理区域按照某种分类或标准进行分层,并将其转化为shp文件格式的功能。在GIS中,分层可以按照多个维度进行,比如按照行政区划、气候分区、土壤类型等划分。这样做的好处是将数据按照不同层级进行分层,便于管理、维护和分析,同时也可以在制作地图时根据需要选择不同的层级进行展示。 在进行shp数据分层时,需要先确定分层的标准和分类方法。例如,如果按照行政区划进行分层,可以以省为第一层,再按照市、县、乡、村等逐层展开。如果按照气候分区进行分层,则可以以温带、热带、寒带等为第一层,再按照降雨量、温度等因素逐层展开。 在确定了分层标准后,需要利用GIS软件进行数据分层。首先需要导入原始数据,在GIS软件中选择分层工具进行分层,将数据按照之前确定的标准进行分类,最终生成各个层级的shp文件。 总之,shp数据分层是一项非常重要的GIS数据管理和展示功能。它可以将大量地理数据按照不同维度进行分类和管理,帮助用户更加清晰地了解和展示地理信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值