- 博客(14)
- 收藏
- 关注
RSS订阅原创 架构设计的目的
1.架构设计的误区 • 因为架构很重要，所以要做架构设计 • 不是每个系统都要做架构设计吗 • 公司流程要求系统开发过程中必须有架构设计 • 为了高性能、高可用、可扩展，所以要做架构设计2.架构设计的真正目的 通过分享的架构设计的历史背景，可以看到，整个软件技术发展的历史，其实就是一部与“复杂度”斗争的历史，架构的出现也不例外。简而言之，...
2019-10-30 00:07:22
1102
原创 架构设计的历史背景
理解了架构的有关概念和定义之后，今天，我会给你讲讲架构设计的历史背景。我认为，如果想要深入理解一个事物的本质，最好的方式就是去追寻这个事物出现的历史背景和推动因素。我们先来简单梳理一下软件开发进化的历史，探索一下软件架构出现的历史背景。1.机器语言（1940 年之前） 最早的软件开发使用的是“机器语言”，直接使用二进制码 0 和 1 来表示机器可以识别的指令和数据。例如，在 ...
2019-10-21 13:01:22
714
原创 什么是架构
架构”这个词常见，但如果深究一下“架构”到底指什么，大部分人也许并不一定能够准确地回答。例如：架构和框架是什么关系？有什么区别？Linux 有架构，MySQL 有架构，JVM 也有架构，使用 Java 开发、MySQL 存储、跑在 Linux 上的业务系统也有架构，应该关注哪个架构呢？微信有架构，微信的登录系统也有架构，微信的支付系统也有架构，当我们谈微信架构时，到底是在谈什么架...
2019-10-19 16:19:59
1782
原创 数据中台【建设步骤】
1.组织规划1.1 制定战略规划1.2 完善组织结构1.3 建立制度体系1.4 设置审计机制1.5 进行培训宣贯2.现状梳理2.1 组织现状2.2 业务现状2.3 技术现状2.4 数据资源现状2.4.1 数据资源的分类2.4.2 数据资源的梳理步骤3.应用服务规划3.1 数据应用规划3.1.1 数据应用分类3.1.2 数据应用规划步骤3.1.3 数据应用评估模型3.2 数据服务规划3.2.1 数据服务分类3.2.2 数据服务的核心价值3.2.3 数据服务类型
2019-10-17 19:18:05
5840
原创 元数据与数据治理|apache-atlas-0.8.4 源码编译和安装部署(apache版本)
Atlas官网地址：https://atlas.apache.org/ 文档查看地址：https://atlas.apache.org/0.8.4/index.html 下载地址：https://www.apache.org/dyn/closer.cgi/atlas/0.8.4/apache-atlas-0.8.4-sources.tar.gz1.安装前环境准...
2019-10-15 16:50:57
1118
5
原创 JanusGraph：分布式的图数据库简介
1.图的简介 图是由若干给定的点及连接两点的线所构成的图形，这种图形通常用来描述事物与事物之间的某种特定关系，用点代表一个事物，用连接两点的线表示相应两个事物间的关系。 图的存储结构有：数组表示法、邻接表表示法和十字链表等。2.图数据库的概念 图数据库源起欧拉和图理论，也可称为面向/基于图的数据库，对应的英文是Graph Database。图数据库的...
2019-10-15 16:12:17
1847
原创 元数据与数据治理|Atlas 基础理论
1.Apache Atlas 产生背景 • 面对海量且持续增加的各式各样的数据对象，你是否有信心知道哪些数据从哪里来以及它如何随时间而变化？采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分 • 为寻求数据治理的开源解决方案，Hortonworks公司联合其他厂商与用户于2015年发起数据治理倡议，包括数据分类、集中策略引擎、数据血缘、安全和...
2019-10-15 13:12:49
1424
原创 元数据与数据治理介绍
1.元数据(Metadata)?1.1 什么是元数据 任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文...
2019-10-15 11:08:56
486
原创 数据中台【概述篇】
1.数据中台的定义2.中台的分类2.1 中台的分类2.2 数字化中台分类3.数据中台的核心能力4.数据中台的演进过程5.数据中台的价值5.1 业务价值5.2 技术价值6.什么样企业适合建数据中台7.数据中台的目标准则8.数据中台五大体系9.数据中台建设策略10.数据中台建设步骤
2019-10-14 15:20:04
7128
转载 数据治理系列6：数据安全治理之道
1.初识信息安全 说到数据安全，不由得想起那些年做军工企业项目时的一些人和一些事。那是10年前——2009年的春天，我司接了一个军工企业的大单，我受命去做实施要常驻项目现场。记得上班第一天，客户就给我们项目团队集体进行了安全保密的培训，我还清楚记得：“不该看的不要看、不该问的不要问、不该说的不要说，公共场所不谈论涉及客户项目和产品的任何信息！”。客户还给我们讲了业内几起由于信息泄密“...
2019-10-14 11:59:58
632
转载 数据治理系列5：浅谈数据质量管理
“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。”——以上内容摘自百度百科。 笔者观点：“数据质量管理不单纯是一个概念，也不单纯...
2019-10-14 11:43:17
1346
转载 数据治理系列4：主数据管理实施四部曲概论
导读：我们知道主数据项目的建设是一个循序渐进、持续优化的过程，不可一蹴而就。个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段，而每个阶段都是必经阶段，每个阶段均可独立成章，所以这里是四部曲，不是四步曲。 主数据项目建设从方法上，分为以下四部，简单归结为12个字：“摸家底、建体系、接数据、抓运营”！1.摸家底 摸家底需要全面调研和了解企...
2019-10-14 11:18:12
1311
原创 Impala 详细介绍
1.Impala的基本概念1.1 什么是Impala Cloudera 公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。 Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 ...
2019-10-10 19:00:26
2644
原创 Presto 详细介绍
1.Presto 简单介绍1.1 Presto基本概念 Presto是Facebook开源的MPP SQL引擎，旨在填补Hive在速度和灵活性（对接多种数据源）上的不足。相似的SQL on Hadoop竞品还有Impala和Spark SQL等。这里我们介绍下Presto的基本概念。 Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数...
2019-10-10 15:09:55
13979
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人