hsabrina的博客

Xelerator系统架构图的模板。这个模板将系统划分为数据层、服务层和展现层三个层次。

在该系统的整个架构中将服务器分为两种类型，一种名为namenode，这种类型的节点负责管理管理数据（元数据），另外一种名为datanode，这种类型的服务器负责实际数据的管理。客户端访问存储的大致流程是，客户端在启动后会首先从Mon服务拉取存储资源布局信息，然后根据该布局信息和写入数据的名称等信息计算出期望数据的位置（包含具体的物理服务器信息和磁盘信息），然后该位置信息直接通信，读取或者写入数据。

1. 编程系统产品开发的工作量是供个人使用的、独立开发的构件程序的九倍。2. 编程行业的一些内在固有苦恼：● 将做事方式调整到追求完美，是学习编程的最困难部分。● 由其他人来设定目标，并且必须依靠自己无法控制的事物。● 真正的权威来自于每次任务的完成。● 任何创造性活动都伴随着枯燥艰苦的劳动，编程也不例外● 人们通常期望项目在接近结束时（bug、工作时间）能收敛得快一些，然而软件项目的情况却是越接近完成，收敛得越慢。● 产品在即将完成时总面临着陈旧过时的威胁。

服务设计：供应商管理、服务目录管理、信息安全管理、IT服务持续性管理、容量管理、可用性管理、服务级别管理（SLA）服务转换：知识管理、评估、服务检验与测试、转换规划与支持、发布与部署管理、服务资产与配置管理(CMDB)、变更管理。服务运营：IT运营管理、应用管理、技术管理、请求实现、事件管理、访问管理、问题管理、事故管理、服务台。3) IT服务管理：事件管理、问题管理、变更管理、SLA管理、资产管理、可用性管理。基础服务运维：（包含运维开发）（内部DNS、负载均衡、系统级别监控、资产管理、运维平台）

运维的标准化和流程化首先要以文档的形式进行展示，并且能够指导日常运维工作。国有国法，家有家规，冰箱洗衣机都有说明书，运维标准化流程化就是运维工作的国法家规，运维工作如何进行的说明书。相比开发、测试等其他岗位，运维工作直面生产环境，每一步运维操作与生产系统能否正常运行息息相关，稍有不慎就易产生生产事故。并且运维自动化的落地实施也是要基于运维的标准化和流程化，所以作为运维管理的第一步，不可忽略。

其实从编制架构设计说明书的角度来看，也可以阐述具体如何编写架构设计说明书，就像高考作文一样，评审总是有些采分点的嘛，那么对于编制架构设计说明书来说就应该关注那样的几个关注点...

架构设计是需求分析到软件实现的桥梁，也是决定软件质量的关键。编制架构设计说明书是开发人员向架构师转变一定会经历的过程。在架构师整个的成长过程当中，一定会经历编制架构设计说明书、评审架构设计说明书以及根据业务需求分析设计系统架构的三个过程。架构设计是需求分析到软件实现的桥梁，也是决定软件质量的关键。编制架构设计说明书是开发人员向架构师转变一定会经历的过程。在架构师整个的成长过程当中，一定会经历编制架构设计说明书、评审架构设计说明书以及根据业务需求分析设计系统架构的三个过程...

TOGAF作为流行的架构框架，提供了八步法的架构开发方法ADM和包含众多构建块及其关系的架构内容元模型，但对于如何描述这些构建块，TOGAF并没有给出标准，架构师们只能自行参考其他的标准进行描述。这也是TOGAF落地难的一个原因。幸好同样是Open Group组织推出了ArchiMate架构建模语言，由于两者系出同源，ArchiMate对TOGAF提供了良好的支持，也为我们学习使用TOGAF提供了便利。...

Archi是一个企业架构建模工具，有英文说明，但是中文的还没有。本文做下简单的翻译对照，后续再继续扩充

企业的内部需求和外部环境一直在变，软件研发、交付和使用的方式也一直在变，相应地，企业架构的方法论也一直在演进。数字化时代如火如荼，传统的企业架构方法需要引入新的思维模式，才能满足企业发展需求。作者结合自己在架构领域多年的实践经验和思考总结，针对数字化转型大背景下企业的架构需求，对TOGAF等传统企业架构方法论的不足进行了改进与创新，提出了一套面向数字化企业的企业架构方法论——聚合架构（ABAE），是管理数字化企业的新思维，在企业架构方法的发展史上或有划时代的意义。...

知识目标1）了解数据质量的概念、重要性、质量评价方式2）熟悉数据质量的分析方法，掌握业务、技术、管理等几个维度3）掌握数据质量管理的方法论体系4）掌握数据质量事前、事中、事后控制策略及控制流程数据质量的基本概念数据是对现实世界的反应，数据质量指的是数据在多大程度上反应了真实世界。一般来说，如果数据代表的意义和目的不一致，数据就有质量问题。数据质量管理的定义：数据从计划，获取，存储，共享维护应用以及它的整个生命周期的每个阶段里都可能引发的数据质量问题进行一些识别、度量、监控、预

总体应用流程应用流程图：角色开发、部署/运维、运维三种角色涉及模块数据集成模块、数据开发模块、发布管理模块、运维中心模块数据处理包括：数据输入、数据开发、数据输出（数据集成+数据开发模块）；代码发布（发布管理模块）；生产调度、生产运维（运维中心模块）数据输入就是数据的收集和数据存储，是数据开发的基础，首先要将不同业务系统的数据，分析要用到的数据同步到MaxCompute平台上来，这样才能利用MaxCompute海里数据存储和处理能力对数...

数据集成离线/实时数据同步复杂网络环境下，对丰富异构类型数据源高效稳定的移动和同步能力数据开发对MaxCompute中的数据进行加工 (SQL，UTF，Graph，MR)、分析与发掘（数据分析、数据挖掘）等处理从而发现其价值数据应用对MaxCompute数据加工处理后，应用各种场景，如数据提取、数据交互、数据报表、数据分析数据服务提供为企业搭建统一的数据服务总线，帮助企业统一管理对内外的API服务。提供快速将数据库表生成API能力，同时支持快速注册现有API至数据服务平台，进

基础属性的设置distribution_key指定分布列，数据将按照指定列，shuffle到各个shardset_table_property('public.dwd_intl_trd_pay_itm_buyer_ri', 'distribution_key', 'stat_date,stat_hour,brand_id,seller_id');clustering_key指定一些列作为聚簇索引set_table_property('public.dwd_intl_trd_pay

在大数据场景下，数据集成主要是解决哪些核心问题，我将其分为以下四个场景：第一个场景就是搬站上云。搬站上云主要用来对接业务数据库，完成数仓初始化，比如用户需要把自己的云下数据库快速安全地迁移到云上存储并做进一步的业务分析，如线下MySQL、Oracle到云上MaxCompute或者是Hadoop中Hive上，这既包含了一次性全量数据迁移，还包含持续增量数据迁移。第二个场景是构建实时数仓，做流式的数据汇聚。主要包含应用产生的日志数据，应用产生的消息数据，和应用对接数据库产生的日志数据（数据库的Binlo

实时接入=>实时计算框架=>实时模型=>实时服务对应的过程控制：数据接入=>数据开发=>任务监控/数据安全/数据稽核=>模型设计=>过程管控

数据中台、阿里数据中台、产品+技术+方法、数据仓库、OLTP&OLAP

灾难响应指标1 T1 /T2灾难发生和灾难处置：1）数据完整性: 恢复点目标 RPO (定期复制、同步复制)2）应用完整性：恢复时间目标RTO（扩展集群）2 T3 访问恢复：NRO1) 用户访问应用网络恢复2）对于业务逻辑中的每个节点恢复都要有T1\T2\33）不适合运维人员来做容灾，需要更全局的人来掌控3 时间段内可用性要求：含计划（如升级等）和非计划停机时间（故障）设计思路1 冗余设计1) 主从设计（mater->slaver）2）双机双工（共享

1 大规模2 同质化（Homogeneity）标准化3 虚拟化4 弹性计算（Resident Computing）资源的快速供应与释放5 低成本软件6 先进的安全技术7 地理分布（Geographic Distribution）8 面向服务