![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据架构
文章平均质量分 69
只要开始永远不晚
好好学习,天天向上!
展开
-
数据仓库的三种建设思路
数据仓库三种建设思路:Inmon企业级数仓、Kimball数据仓库、混合型数据仓库原创 2022-10-24 23:00:00 · 440 阅读 · 0 评论 -
spark on yarn
本文主要分享一下Spark在Yarn上是如何运行的。原创 2022-08-09 21:39:19 · 490 阅读 · 0 评论 -
Apache Hadoop三大模块和生态
Apache™ Hadoop® 项目为实现可靠的、可扩展的分布式计算而开发了一系列开源软件。Apache Hadoop软件库是一个框架,它允许使用简单的编程模型来实现跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库不是依靠硬件来提供高可用性,而是通过自身框架来检测和处理应用层的故障,以便在计算机集群之上提供高可用性服务。.........原创 2022-08-08 18:23:11 · 1290 阅读 · 0 评论 -
HTAP混合事务/分析数据库调研
HTAP=Hybrid transactional/analytical processing特指同时具备处理事务和分析能力的数据库目前国内有哪些开源产品:TiDB,OceanBase原创 2022-07-08 11:53:14 · 1230 阅读 · 0 评论 -
分布式系统架构的优缺点
分布式系统架构的特点:1、吞吐量更大、执行效率更高(水平拓展、垂直分层)2、高可用(消除单点、冗余备份)3、拓展性更高4、难在系统设计、管理和运维。因为更加开放,技术多样、插件丰富,所以也降低了复杂度。参考阅读:什么是分布式系统!以及分布式系统架构的优缺点!......转载 2020-01-31 09:49:41 · 5368 阅读 · 0 评论 -
主数据和元数据的概述
企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。以下主要讨论主数据、元数据的概念及应用。主数据和主数据管理的概念企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。主 数 据 (masterdata)指 在 企 业 范 围 内跨 部 ...转载 2020-02-15 22:23:46 · 3337 阅读 · 0 评论 -
大数据平台层级架构图
数据平台层级架构图主流数据平台架构一般包含三个层级,ODS层、数据仓库层、数据应用层。业务系统的操作和日志数据抽取到ODS层,ODS的数据经过ETL过程(抽取Extraction,转化Transformation,加载Loading)进入数据仓库,数据仓库反哺业务,为业务的分析和决策提供支持:反应业务现状,预测业务未来发展趋势,为业务的优化拓展赋能智慧。ODS层设...原创 2019-05-16 17:44:22 · 24851 阅读 · 1 评论 -
数据库建模
什么是数据建模?就是将现实世界的“事物”和“事物之间的关系”经过抽象、概括,转化为数据仓库中表的过程。眼里只有两张表那么如何转化呢?只要在进行抽象和概括时,牢记:我们的眼里只有两张表——实体和实体之间的关系。一些有意思的概念:概念ABC...原创 2019-05-15 16:54:59 · 1056 阅读 · 0 评论 -
培养数据意识的正确态度
要多与人沟通,不要偏执,在相信数据之前,要有勇气否定自己的一些经验和想法,做到时常关注数据,多思考数据背后的东西。现在互联网衍生出很多新的玩法和新的事物,已经远超出了我们过去的认知,不要一味地坚持自己的想法而放弃倾听其他人的观点。人在很多时候是很有意思的,特别是在越没有人认同你的观点的时候,就越希望说服别人认同你。多沟通而不要固执己见,炳耀注意沟通的方式,多获取别人的信息和数据。...转载 2019-05-15 16:26:37 · 1602 阅读 · 0 评论 -
数据 信息 知识 智慧
数据 信息 知识 智慧 原始的数字和事实 经过处理的数据 可发挥作用的信息 反应事物运动状态的原始数字和事实 已经排列成有意义的形式的数据 已经加工提炼,将很多信息材料的内在联系进行综合分析,从而得出的系统结论 激活了的知识,主要表现为收集、加工、应用、传播信息和知识的能力,以及对事物发展的前瞻性看法 包括文本、事实、有意义的图...原创 2019-05-14 17:35:14 · 2990 阅读 · 0 评论 -
决策需要数据,数据需要分析,分析需要决策
生活无时不刻需要决策,决策需要数据来驱动,如何驱动,需要分析来帮忙,然而最具戏剧性的是:分析也是有策略的——分析也需要决策。例子举个例子,随着年龄的增长,见识了越来越的年轻人由于不看工作和生活的压力,晕倒在工作第一线,所以我渐渐萌生了保险的意识,那如何买保险呢?有人说这还用问,直接找保险公司或代理呗(这算一个拍脑袋的决策不)。卖哪个公司的保险呢,同一类保险好多产品,我买哪一款呢?找保险...原创 2019-05-14 16:03:32 · 1041 阅读 · 0 评论 -
如果无法衡量,就无法优化提高
If you can't measure it, you can't improve it!数据驱动产品决策、精细化运营,的前提是知道如何全方位的衡量自己的现状。如果不能量化自己,所谓的提升也就无从谈起。...原创 2019-05-14 15:23:33 · 1097 阅读 · 0 评论