数仓基础

2 篇文章 0 订阅
2 篇文章 0 订阅

ods dw dm  的区别

ODS应用场景 

A. 在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据,这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。它的存在可以避免数据仓库直接调用业务系统的数据。 
B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同,原来由业务系统
产生的报表,现在可以从ODS中产生了。 
C. 完成数据仓库中不能完成的一些功能。ODS存放的是明细数据,数据仓库或DM存放的是汇聚
数据,ODS可提供查询明细的功能。 

数据源源不断写入到ODS, 一经写入的数据就不能被更改,鉴于这些特性,ODS一般会考虑使用分布式文件存储系统。 ODS数据只能增加不能修改,数据是业务系统的原样拷贝,可能存在数据冲突的可能,解决方式是为每一条数据增加一个时间版本来区分相同的数据。 

OLTP DB保留的是数据信息的最新状态,只有一个状态。ODS支持OLTP类型的数据更新,数据更新时间短,数据可实现准实时更新,性能与及时性都高于EDW 。ODS层的数据粒度是最细的,它的历史数据一般保存3-6个月,以节省空间。如果量不大,有些可以保存更长时间。

客户等关键实体数据。ODS长久保存当前数据,EDW长久保存当前与历史数据。
详单数据。ODS保存1个月到3个月;EDW保存2年。
汇总数据。ODS保存3年;EDW保存5年。
其他数据。ODS保存13个月;EDW保存3年。

ODS主要面向营业、渠道等一线生产人员和一线管理人员,为了实现准实时、跨系统的运营细节数据的查询,以获得细粒度的运营数据展现,例如渠道人员查询客户的全视图信息由ODS提供数据支撑。ODS中也存在部分粗粒度汇总数据,但汇总的维度少且简单。

DW  

数据仓库(Data Warehouse):是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

 


时效:T+1


A.  主要提供查询服务,并要求查询能够及时响应. 
B.  数据质量,DW提供很多决策系统的支撑数据,数据准确非常重要。DW的数据应该是唯一的具有
权威性的数据,企业所有决策系统只能使用从DW提供的被认可的数据。
C.  扩展性,业务扩展和降低企业建设数据仓库的成本考虑 。
D.  面向主题,DW中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域。
数据仓库排除对决策无用的数据,提供特定主题的简明视图。 


DW中的数据需要定期进行质量审核,保证权威准确;DW中的数据只允许增加,不允许删除和修改。EDW需要的运营数据,如果在ODS中已存在,EDW则直接从ODS获取这部分数据。EDW需要的运营数据,如果在ODS中没有,EDW则直接从生产系统获取这部分数据。

 

  1. DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。这一层的数据一般是遵循数据库第三范式的,其数据粒度通常和ODS的粒度相同。在DW层会保存BI系统中所有的历史数据,例如保存10年的数据。


    EDW主要面向专业分析人员、辅助决策支持人员等,为了实现基于历史数据的统计分析和数据挖掘,以获得客户深层次的特征和市场发展的规律,例如专业分析人员的经营状况趋势分析由EDW提 供支撑。

    DM  


    数据集市,以某个业务应用为出发点而建设的局部DW。DM只关心自己需要的数据,不会全量考虑企业整体数据架构和应用,每个应用有自己的DM。 数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体(data cube)。


    这层数据是面向主题来组织数据的,通常是星形或雪花结构的数据。从数据粒度来说,这层的数据是轻度汇总级的数据,已经不存在明细数据了。从数据的时间跨度来说,通常是 DW 层的一部分,主要的目的是为了满足用户分析的需求,而从分析的角度来说,用户通常只需要分析近几年(如近三年的数据)的即可。从数据的广度来说,仍然覆盖了所有业务数据。一个星型结构包含两个基本部分——一个事实表和各种支持维表。


    事实表  ---- 
    描述数据集市中最密集的数据。在电话公司中,用于呼叫的数据是典型的最密集数据;在银行中,与账目核对和自动柜员机有关的数据是典型的最密集数据。对于零售业而言,销售和库存数据是最密集的数据等。通常,事实表的数据不能更改,但可以输入数据。 它包括:一个反映事实表建立目的的实体的主键,如一张订单、一次销售、一个电话等等,主键信息,连接事实表与维表的外键。 


    维度表 ---- 维表是围绕着事实表建立的。维表包含非密集型数据,它通过外键与事实表相连。典型的维表建立在数据集市的基础上,包括产品目录、客户名单、厂商列表等等。


    数据集市产品 --- 
    国外知名的Garnter关于数据集市产品报告中,位于第一象限的敏捷商业智能产品有QlikView, Tableau和SpotView



    2. hive 的几种存储格式

    Hive文件存储格式
    1.textfile
    textfile为默认格式
    存储方式:行存储
    磁盘开销大 数据解析开销大
    压缩的text文件 hive无法进行合并和拆分

    2.sequencefile
    二进制文件,以<key,value>的形式序列化到文件中
    存储方式:行存储
    可分割 压缩
    一般选择block压缩
    优势是文件和Hadoop api中的mapfile是相互兼容的。


    3.rcfile
    存储方式:数据按行分块 每块按照列存储
    压缩快 快速列存取
    读记录尽量涉及到的block最少
    读取需要的列只需要读取每个row group 的头部定义。
    读取全量数据的操作 性能可能比sequencefile没有明显的优势



    4.orc

    存储方式:数据按行分块 每块按照列存储

    压缩快 快速列存取

    效率比rcfile高,是rcfile的改良版本



    5.自定义格式
    用户可以通过实现inputformat和 outputformat来自定义输入输出格式。

    总结:
    textfile 存储空间消耗比较大,并且压缩的text 无法分割和合并 查询的效率最低,可以直接存储,加载数据的速度最高
    sequencefile 存储空间消耗最大,压缩的文件可以分割和合并 查询效率高,需要通过text文件转化来加载
    rcfile 存储空间最小,查询的效率最高 ,需要通过text文件转化来加载,加载的速度最低

    3.flume 各个组件的介绍
    1.   SourceNetCat Source:绑定的端口(tcp、udp),将流经端口的每一个文本行数据作为Event输入;type:source的类型,必须是netcat。
    bind:要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑,对应多个IP。
    port:绑定的本地的端口。

    Avro Source:监听一个avro服务端口,采集Avro数据序列化后的数据;type:avrosource的类型,必须是avro。
    bind:要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑,对应多个IP。
    port:绑定的本地的端口。

    Exec Source:于Unix的command在标准输出上采集数据;type:source的类型:必须是exec。
    command:要执行命令。

    Spooling Directory Source:监听一个文件夹里的文件的新增,如果有则采集作为source。type:source 的类型:必须是spooldir
    spoolDir:监听的文件夹 【提前创建目录】
    fileSuffix:上传完毕后文件的重命名后缀,默认为.COMPLETED
    deletePolicy:上传后的文件的删除策略never和immediate,默认为never。
    fileHeader:是否要加上该文件的绝对路径在header里,默认是false。
    basenameHeader:是否要加上该文件的名称在header里,默认是false。

    2. SinkHDFS Sink:将数据传输到hdfs集群中。type:sink的类型 必须是hdfs。
    hdfs.path:hdfs的上传路径。
    hdfs.filePrefix:hdfs文件的前缀。默认是:FlumeData
    hdfs.rollInterval:间隔多久产生新文件,默认是:30(秒) 0表示不以时间间隔为准。
    hdfs.rollSize:文件到达多大再产生一个新文件,默认是:1024(bytes)0表示不以文件大小为准。
    hdfs.rollCount:event达到多大再产生一个新文件,默认是:10(个)0表示不以event数目为准。
    hdfs.batchSize:每次往hdfs里提交多少个event,默认为100
    hdfs.fileType:hdfs文件的格式主要包括:SequenceFile, DataStream ,CompressedStream,如果使用了CompressedStream就要设置压缩方式。
    hdfs.codeC:压缩方式:gzip, bzip2, lzo, lzop, snappy
    注:%{host}可以使用header的key。以及%Y%m%d来表示时间,但关于时间的表示需要在header里有timestamp这个key。

    Logger Sink将数据作为日志处理(根据flume中的设置的日志方式来显示)要在控制台显示在运行agent的时候加入:-Dflume.root.logger=INFO,console 。
    type:sink的类型:必须是 logger。
    maxBytesToLog:打印body的最长的字节数 默认为16

    Avro Sink:数据被转换成Avro Event,然后发送到指定的服务端口上。type:sink的类型:必须是 avro。
    hostname:指定发送数据的主机名或者ip
    port:指定发送数据的端口

    File Roll Sink:数据发送到本地文件。type:sink的类型:必须是 file_roll。
    sink.directory:存储文件的目录【提前创建目录】
    batchSize:一次发送多少个event。默认为100
    sink.rollInterval:多久产生一个新文件,默认为30s。单位是s。0为不产生新文件。【即使没有数据也会产生文件】

    3.ChannelMemory Channel使用内存作为数据的存储。Type channel的类型:必须为memory
    capacity:channel中的最大event数目
    transactionCapacity:channel中允许事务的最大event数目

    File Channel 使用文件作为数据的存储Type channel的类型:必须为 file
    checkpointDir :检查点的数据存储目录【提前创建目录】
    dataDirs :数据的存储目录【提前创建目录】
    transactionCapacity:channel中允许事务的最大event数目

    Spillable Memory Channel 使用内存作为channel超过了阀值就存在文件中Type channel的类型:必须为SPILLABLEMEMORY
    memoryCapacity:内存的容量event数
    overflowCapacity:数据存到文件的event阀值数
    checkpointDir:检查点的数据存储目录
    dataDirs:数据的存储目录

    4. InterceptorTimestamp Interceptor 时间戳拦截器 在header里加入key为timestamp,value为当前时间。type:拦截器的类型,必须为timestamp
    preserveExisting:如果此拦截器增加的key已经存在,如果这个值设置为true则保持原来的值,否则覆盖原来的值。默认为false

    Host Interceptor 主机名或者ip拦截器,在header里加入ip或者主机名type:拦截器的类型,必须为host
    preserveExisting:如果此拦截器增加的key已经存在,如果这个值设置为true则保持原来的值,否则覆盖原来的值。默认为false
    useIP:如果设置为true则使用ip地址,否则使用主机名,默认为true
    hostHeader:使用的header的key名字,默认为host

    Static Interceptor 静态拦截器,是在header里加入固定的key和value。type:avrosource的类型,必须是static。
    preserveExisting:如果此拦截器增加的key已经存在,如果这个值设置为true则保持原来的值,否则覆盖原来的值。默认为false
    key:静态拦截器添加的key的名字
    value:静态拦截器添加的key对应的value值

    5.  Channel SelectorMultiplexing Channel Selector 根据header的key的值分配channelselector.type 默认为replicating
    selector.header:选择作为判断的key
    selector.default:默认的channel配置
    selector.mapping.*:匹配到的channel的配置

    6. Sink Processor负载均衡
    a1.sinkgroups=g1
    a1.sinkgroups.g1.sinks=k1 k2
    a1.sinkgroups.g1.processor.type=load_balance
    a1.sinkgroups.g1.processor.backoff=true
    a1.sinkgroups.g1.processor.selector=round_robin
    a1.sinkgroups.g1.processor.selector.maxTimeOut=30000

    backoff:开启后,故障的节点会列入黑名单,过一定时间再次发送,如果还失败,则等待是指数增长;直到达到最大的时间。
    如果不开启,故障的节点每次都会被重试。
    selector.maxTimeOut:最大的黑名单时间(单位为毫秒)。

    故障转移
    a1.sinkgroups=g1
    a1.sinkgroups.g1.sinks=k1 k2
    a1.sinkgroups.g1.processor.type=failover
    a1.sinkgroups.g1.processor.priority.k1=10
    a1.sinkgroups.g1.processor.priority.k2=5
    a1.sinkgroups.g1.processor.maxpenalty=10000
    #maxpenalty 对于故障的节点最大的黑名单时间 (in millis 毫秒)


     

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值