架构&理论
文章平均质量分 89
工作上接触到的一些架构或者一些理论知识
Impl_Sunny
这个作者很懒,什么都没留下…
展开
-
数据战略的理解与实施指南
数据战略是满足您所有数据和分析需求的基础,尤其是在您的组织希望在分析上变得更加成熟的情况下。它并不侧重于短期项目,而是一个长期计划,对人员、流程和技术进行全面的审视。在您开发数据战略框架时,请记住七个关键要素:与业务战略、分析和数据成熟度评估、数据体系结构和技术、数据分析团队、数据治理、数据战略路线图以及文化变革和管理。原创 2023-07-04 16:32:45 · 968 阅读 · 0 评论 -
高可用的“异地多活”架构是怎么设计
后台服务可以划分为两类,有状态和无状态。高可用对于无状态的应用来说是比较简单的,无状态的应用,只需要通过 F5 或者任何代理的方式就可以很好的解决。后文描述的主要是针对有状态的服务进行分析。服务端进行状态维护主要是通过磁盘或内存进行保存,比如 MySQL 数据库,redis 等内存数据库。除了这两种类型的维护方式,还有 jvm 的内存的状态维持,但jvm的状态生命周期通常很短。原创 2022-10-31 17:28:00 · 416 阅读 · 0 评论 -
如何做架构设计和评审
优化的常见手段或模式静态化:动态数据和静态数据分离。异步化:使用异步化减少主流程中的非关键业务逻辑。并行化:使用多线程并发处理,缩短响应时间。内存优化:减少对象大小,减少对象创造,数据模型优化去重复运算:业务逻辑优化,或者使用缓存减少数据库操作:数据冗余,数据缓存等缩短数据库事务:短事务,异步化,最终一致性等方式可以考虑精简代码逻辑:去除冗余代码,诸如过度设计检查等代码。精简日志操作:日志大小要关注,注意IO上的瓶颈;日志太多,说明生成的string也会多,也增加了gc负担。原创 2022-09-07 11:43:46 · 3555 阅读 · 0 评论 -
如何画好一张架构图
一、什么是架构图1.1 理解与解析如何画好一张架构图,要做好这件事情首先要回答的就是什么是架构图。我们日常工作中经常能看到各种各样的架构图,而且经常会发现大家对架构图的理解各有侧重。深入追究到这个问题,可能一下子还很难有一个具象的定义,如果我们把这个问题进行拆分(如下图)理解起来就会容易一点。架构图=架构+图按照这个等式,我们可以把问题转换: 架构是什么? 图是什么? 图是什么?这个比较容易回答,图是一种信息的表达方式,所以架构图,即表达“架构”的图,也就是一...原创 2022-05-21 11:14:16 · 1594 阅读 · 0 评论 -
【架构】软件架构设计分层模型和构图思考
一、架构思维概述对于架构思维本身仍然是类似系统思维,结构化思维,编程思维等诸多思维模式的一个合集。由于架构的核心作用是在业务现实世界和抽象的IT实现之间建立起一道桥梁,因此架构思维最核心的就是要理解到业务驱动技术,技术为最终的业务服务。要真正通过架构设计来完成业务和技术,需求和实现,软件和硬件,静态和动态,成本和收益等多方面的平衡。架构设计中有两个重点,一个是分解,一个是集成。分解最基础的,架构的重点就是要对复杂问题进行分而治之,同时保证分解后的各个部分还能够高内聚,松耦合,最终又集成为原创 2022-03-10 10:27:02 · 7815 阅读 · 1 评论 -
【数据中台】数据中台架构搭建百科全书
0、前言当前,大部分企业不再建设从源数据采集到分析应用的烟囱式系统,更倾向于数据集中采集、存储,并应用分层建设。这种方式一方面有利于应用系统的快速部署,另一方面也保证了数据的集中管理与运营,体现数据的资产、资源属性。数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台事业部集中数据搜索,技术及产品,数据共享等多个部门的功能。其他组织或企业建设数据中台不一定需原创 2021-11-17 10:18:31 · 7767 阅读 · 3 评论 -
【数据治理】数据治理项目失败经验总结
0、前言数字化时代,数据作为新的生产要素受到了各界前所未有的重视。随着数据越来越多,怎么管好、用好数据,让数据发挥价值,成为了很多企业的一个难题,而且还是一个必选题!这就引出了数据治理。有效的数据治理可以确保企业数据全面、一致、可信,从而全面释放数据的价值,提高业务流程效率、提升业务增长的机会,驱动企业数字化转型。这听起来很简单,但事实上数据治理对每个企业都是一项很大的挑战。据Gartner 的一项调查显示,超过90%的数据治理项目都失败了!为什么会有这么多数据治理项目失败?看到这个数字原创 2021-10-28 09:23:31 · 617 阅读 · 0 评论 -
【理论】数据如何驱动业务?成为钥匙,而不是发动机
0、前言经常在老板或者领导都会领导一句话:数据要驱动业务,那到底要怎样驱动业务?搞大数据的伙伴会说:这还不简单?大数据存储、计算引擎一上,标签工厂一建,数据打通,报表有多少上多少,cube有多少建多少,什么大数据平台、数据仓库、数据湖、数据中台、算法平台、机器学习平台能上的都给上了。公司所有部门都给配一个数据分析师,一套数据分析平台,连客服有,进门就是一个大屏,运营部门挂一个运营大屏,老板办公室挂一个公司战略大屏。真正做到数据可看、可用、可决策!这,就是数据驱动业务!因为就有老板是这么做的.原创 2021-10-20 09:40:05 · 524 阅读 · 0 评论 -
【数据分析体系】如何搭建一个数据分析体系
0、前言市面上企业级数据分析体系的最佳实践大部分是这样的:内部感知系统:及时告知各项内部运营参数;外部感知系统:及时反馈外部竞争、机会状况;报警系统:及时发现并报告各项异常,并指明故障点;导航系统:根据设定的目标,提供可到达的若干方案,根据当前方案和位置,指明下一步行动方向,对目标进行合理预测,实时反馈当前执行情况。但是企业有大小,业务流程有粗细,产业链有长短,企业所处阶段有不同,如何构架一个符合企业实际情况的数据分析体系呢?大致可以分为这几步骤:当你接手公司/部门.原创 2021-10-20 09:18:27 · 3145 阅读 · 0 评论 -
【元数据】元数据存储系统管理演变升级
0.前言我们知道在一个存储系统中,不光光只有它所存储的数据文件重要,它的存储系统的元数据管理同样十分的重要。因为涉及到存储系统数据访问操作时,会经过存储系统元数据的查询或更新操作,如果元数据这边的操作出现性能瓶颈,同样会导致用户访问数据的行为出现缓慢的情况。本文我们来聊聊存储系统一般是如何做高效的元数据管理的,这里面会涉及到多种不同的元数据管理方式。一、初代元数据管理首先我们来看最简单原始的初代存储系统元数据管理方式,此时元数据往往存储于外部db中,然后master服务和db进行数据的交互,如下原创 2021-10-04 09:47:33 · 232 阅读 · 0 评论