- 博客(191)
- 收藏
- 关注
RSS订阅原创 架构设计之软件建模与软件设计文档
架构师的一系列软件架构设计是用设计文档的形式呈现的。所以，在拆解一个个案例之前，我们先来了解一些关于软件设计文档的基础知识，这样你在学习后面的具体案例时，就能更加清楚并理解文档是基于什么方式来组织的了。首先，设想这样一个场景：如果公司安排你做架构师，让你在项目开发前期进行软件架构设计，你该如何开展工作呢?如何输出你的工作成果？如何确定你的设计是否满足用户需求？你是否有把握最后交付的软件是满足要求的？是否有把握让团队每个工程师清楚自己的职责范围并有效地完成开发工作？
2024-08-16 15:25:31
837
原创 QPS上万，用户量超500万，50万TB存储的云盘系统如何设计？
网盘，又称云盘，是提供文件托管和文件上传、下载服务的网站。由于该云盘系统使用的对象是公司内部其他业务线和公司合作的客户，使用范围相对面向互联网用户的规模较小，所以这里我们又称为私云网盘。该系统主要的技术挑战是海量数据的高并发读写访问。海量的数据该如何存储？如何避免用户的频繁读写文件，消耗太多资源，进而导致其他用户的体验不佳？下面我们来看下私云网盘项目是如何解决这些问题的。
2024-08-16 15:12:21
890
原创 数据中台之数据开发-算法开发
数据集是算法建模过程中不可或缺的原材料。由于企业业务场景的复杂性，算法开发过程需要管理并整合不同来源的数据，同时对数据集进行标注和可视化探查，使数据的使用更高效，简化建模流程。作为统一维护数据集的场所，数据集管理需要考虑的功能点如下。为了提高可用性和降低使用门槛，主流机器学习平台都会提供内置的机器学习算法组件，覆盖从数据接入、数据预处理、特征工程、模型训练到评估和导出的完整算法建模过程，辅助用户高效完成复杂的业务建模。机器学习框架涵盖用于分类、回归、聚类、异常检测和数据准备的各种学习方法。
2024-08-15 17:52:37
869
1
原创 数据中台之数据开发-离线开发和实时开发
离线开发套件封装了大数据相关的技术，包括数据加工、数据分析、在线查询、即席分析等能力，同时将任务的调度、发布、运维、监控、告警等进行整合，让开发者可以直接通过浏览器访问，不再需要安装任何服务，也不用关心底层技术的实现，只需专注于业务的开发，帮助企业快速构建数据服务，赋能业务。随着数据的应用场景越来越丰富，企业对于数据价值反馈到业务中的时效性要求越来越高，很早就有人提出过一个观点：数据的价值在于数据的在线化。实时开发套件是对流计算能力的产品封装。实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间
2024-08-15 17:38:10
1045
2
原创 数据中台之数据开发，数据开发概述与数据计算能力的类型
数据开发是数据资产内容建设的主战场，是数据价值生产过程中的核心环节，可以支撑大批量数据的离线处理、实时处理和数据挖掘等。业务沉淀的数据就像原始的矿石或商品的原材料，数据开发这个环节就像是“商品”生产的流水线，通过这条流水线将数据转换成数据资产，让数据能根据业务的需求转换成新的形态，将原本看起来没有价值的数据变成对业务有价值的资产，为前端业务源源不断提供其所需要的“商品”。数据开发涉及的产品能力主要包括3个部分，分别是离线开发、实时开发和算法开发等内容。
2024-08-06 12:52:29
710
1
原创 数据中台建设之数据存储
DT时代，企业的数据生产方式越来越丰富，数据量越来越大，怎么做存储技术选型成为了摆在我们面前需要解决的问题，也是我们需要提前考虑的事情；那么，我们在做技术选型时需要明确哪些问题呢？需要考虑哪些方面的问题？技术选型时需要考虑哪些场景？比如在线和离线？OLTP与OLAP？存储技术涉及哪些具体技术呢？比如分布式存储？NoSQL？关系数据库？云数据库？数据湖？以上种种问题和场景考量，都能在我的这篇文章中找到答案，来吧，我们一起来看下这篇文章！
2024-08-06 12:40:07
919
原创 数据中台建设之数据汇聚与数据交换
应用哪种模式进行数据汇聚，主要依据业务应用的需要。汇聚数据模式主要分为以下两种。基于不同数据汇聚需求、硬件成本及网络带宽要求，可以选择不同的汇聚数据方法。这里的汇集方法主要有ETL、ELT两种。在数据能力建设过程中，很多企业结合自身的场景和最佳实践开源了一些优秀的汇聚工具，如Flink CDC、Canal、Sqoop、DataX等，这些工具的适用场景不同，也各有优缺点。
2024-07-30 14:04:59
1404
1
原创 数据中台建设之数据采集
线上行为的主要载体可以分为传统互联网和移动互联网两种，对应的形态有PC系统、PC网页、H5、微信小程序、App、智能可穿戴设备、物联网传感设备等。在技术上，数据采集主要有客户端埋点和服务端埋点两种方式。其中客户端埋点主要通过在终端设备内嵌入埋点功能模块，通过模块提供的能力采集客户端的用户行为，并上传回行为采集服务端。线下行为数据主要通过Wi-Fi探针、摄像头、传感器等硬件采集。随着设备的升级，各种场景中对智能设备的应用越来越多，安防、客户监测、考勤等开始深入人们的工作和生活。
2024-07-30 13:38:16
921
1
原创 数据中台的价值框架与架构
通过前面对数据中台建设方法论体系的介绍，我们了解了数据中台的战略行动、保障条件、目标准则、建设内容和关键步骤，这一节我们将了解数据中台的总体架构、包含的功能模块、功能模块之间的关系以及运转机制。数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种业务应用能力，让数据更方便地被业务所使用。下图所示为数据中台的总体架构图：数据中台是位于底层云基础底座与上层业务应用之间的一套体系，包括数据汇聚、数据开发、数据体系、数据资产管理、数据应用以及数据运营体系和数据安全管理。
2024-07-29 13:05:51
971
1
原创 什么是数据中台？从哪些方面加深对数据中台的认知？需要理清些什么概念？数据中台的意义是什么？
数据中台概念自诞生以来持续保持行业热度，但是目前为止对于数据中台并没有统一、标准的定义。认为数据中台是云平台的一部分，同时包括业务中台和技术中台。认为数据中台是数据+技术+产品+组织的组合，是企业开展新型运营的一个中枢系统。认为数据中台可以理解为企业的最核心的数据大脑，是一种理念、一种思维，是一种面向未来的架构。认为数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合认为数据中台是“计算平台+算法模型+智能硬件”，不仅有云端，还需要智能设备帮企业在终端收集线下数。
2024-07-29 12:59:47
1073
1
原创 统一数据建模理论
如果说数据标准化体系建设是实现数据资产化的基础，那么统一数据模型建设是实现数据资产化的最有效的关键举措。在说明统一数据模型的价值之前，先介绍目前数据资产化的一些困境。统一数据模型的主要目标是构建一套完整的面向主题的数据仓库模型，实现数据的汇聚、集成、分层和持久化，高效支持企业的各种大数据应用场景（比如，数据报表、数据查询、数据分析、数据建模等）的高质量数据需求。统一数据模型主要包含以下工作。目前，有很多成熟的方法论用于指导如何构建统一数据模型。
2024-07-19 16:51:00
1244
1
原创 Serverless技术的市场调研与发展分析
根据 CNCF 的定义，Serverless 的概念是指构建和运行不需要服务器管理的应用程序。它描述了一种更细粒度的部署模型，在该模型中，应用程序被捆绑为一个或多个功能，被上传到一个平台，然后根据当前所需的确切需求执行、扩展和计费。所以首先需要明确的一点是，Serverless 并非指托管和运行我们的应用程序不再需要服务器，而是指从前耗费研发和运维人员无数精力和资源的 CI/CD、服务器配置维护更新、IT 资源容量的规划和伸缩等工作，被 Serverless 这个概念下包含的技术体系所封装了。
2024-07-19 16:32:19
1064
1
原创 ReentrantLock的源码实现和原理介绍
ReentrantLock是一种基于AQS（抽象队列同步器）框架的应用实现，是Java提供的强大且灵活的可重入锁，支持公平和非公平特性。是JDK中一种线程并发访问的同步手段，它提供了与synchronized关键字相似的功能，但具有更多的灵活性和扩展性。
2024-07-15 11:28:36
918
1
原创 Hadoop发展史和生态圈介绍
Hadoop是由Apache基金会所开发的分布式系统基础架构，旨在解决海量数据存储和计算分析问题。Hadoop HDFS(Hadoop Distributed File System):分布式文件存储系统，解决海量数据存储问题。Hadoop Yarn:集群资源管理和任务调度框架，解决资源任务调度问题。Hadoop MapReduce：分布式计算框架，解决海量数据计算问题。
2024-07-15 11:02:31
1484
1
原创 Spark 分布式弹性计算集（RDD）相关概念介绍
RDD是 Spark 中最基本的数据抽象，代表一个不可变、可分区、元素可并行计算的集合。RDD具有自动容错、位置感知性调度和可伸缩等特点。RDD 允许用户在执行多个查询时显式地将数据集缓存在内存中，后续查询能够重用该数据集，这极大地提升了查询效率。Spark 可以跨节点在内存中持久化 RDD。当持久化 RDD时，每个节点都会在内存中缓存计算后的分区数据，当其他操作需要使用该 RDD 时，可以直接重用该缓存数据，这使得之后的 RDD 计算速度更快(通常超过10倍)。缓存是选代计算和交式计算的关键。
2024-07-08 10:05:46
1067
1
原创 Apache Spark分布式计算框架架构介绍
Spark 基于 Spark Core 建立了 Spark SQL、Spark Streaming、MLlib、GraphX、SparkR 核心组件，基于不同组件可以实现不同的计算任务，这些计算任务的运行模式有：本地模式、独立模式（Standalone）、Mesos 模式、 YARN 模式。Spark 任务的计算可以从 HDFS、S3、Hypertable、HBase或Cassandra等多种数据源中存取数据。
2024-07-08 09:57:31
1470
1
原创 Apache Flink架构介绍
在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。Flink整个系统主要由两个组件组成，分别为JobManager和TaskManager，Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager为Worker（Slave）节点。所有组件之间的通信都是借助于Akka Framework，包括任务的状态以及Checkpoint触发等信息。
2024-07-05 09:56:28
1273
2
原创 业界数据架构的演变
近年来随着越来越多的大数据技术被开源，例如：HDFS、Spark等，伴随这些技术的发展与普及，促使企业数据架构的演进——从传统的关系型数据存储架构逐步演化为分布式处理和存储的架构。我们通过数据架构的演变角度来了解下为什么今天Flink实时计算引擎会爆火起来。
2024-07-05 09:44:54
1105
2
原创 认识流式处理框架Apache Flink
Apache Flink 是一个框架和分布式处理引擎，用于在 无边界 和 有边界 数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。近年来Apache Flink计算框架发展迅速，Flink以流处理为基础，对批数据也有很好的支持，尤其是在流计算领域相比其他大数据分布式计算引擎有着明显优势，能够针对流式数据同时 支持高吞吐、低延迟、高性能分布式处理 ，Flink在未来发展上有着令人期待的前景。
2024-07-02 10:34:50
1600
2
原创 Java Lambda语法介绍
Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中），它允许我们以简洁、可读的方式表示匿名函数。通过Lambda表达式，我们可以将代码块作为参数传递给其他函数，从而实现更灵活的编程。当要传递给Lambda体的操作，已经有实现的方法了，可以使用方法引用！方法引用：使用操作符 “ :: ” 将方法名和对象或类的名字分隔开来。对象 :: 实例方法类 :: 静态方法类 :: 实例方法。
2024-07-02 10:07:13
1013
2
原创 分布式锁实现方案-基于Redis实现的分布式锁
在当今大数据、高并发的互联网时代，分布式系统已经成为了许多企业架构设计的首选。而在分布式系统中，实现并保证数据一致性和线程安全性是一个极具挑战性的问题。Redis作为一个高性能缓存框架，它的setnx()指令具有独占性、互斥性，满足分布式锁的特性要求，因此基于Redis可以实现分布式锁。今天我们就来看下，基于Redis，如何实现单机锁和RedLock锁。Redlock分布式锁作为一种解决方案，在高并发场景下能够提供可靠的分布式锁服务。然而，Redlock分布式锁也并非完美无缺，它在高并发环境下仍面临一些问题
2024-06-23 10:15:18
1141
2
原创 基于Spark3.3.4版本,实现Standalone 模式高可用集群部署
在早期大数据处理中，我们会选择使用MapReduce分析处理海量数据，MapReduce存在计算慢、代码编写复杂、不支持流式计算及性能上的一些问题，Apache Spark计算框架的出现解决了MapReduce计算框架以上各种问题，Apache Spark是新一代的大数据计算框架，支持针对批量数据及流式数据进行处理，在数据处理上相对比MapReduce性能上提升很多，不仅编程方便还支持SQL处理数据、流式编程等。今天我就来带大家基于Spark3.3.4版本,实现Standalone 模式高可用集群部署。
2024-06-18 14:20:21
1299
2
原创 Service Mesh基础概念介绍
Service Mesh是下一代微服务框架，本文首先给出了对Service Mesh的定义，接近阐述了相比上一代微服务框架，Service Mesh解决了微服务架构的哪些痛点需求，然后介绍了Service Mesh的两种基本模式，最后阐述了Service Mesh的架构内容。如果你对Service Mesh缺乏基本的认识，那么就跟着本文一起来认识它吧！
2024-06-18 11:54:31
1050
3
原创 基于Spark3.3.4版本，实现Spark On Yarn 模式部署
企业中的海量数据都会使用大数据相关计算框架进行分析处理，在早期大数据处理中，我们会选择使用MapReduce分析处理海量数据，MapReduce存在计算慢、代码编写复杂、不支持流式计算及性能上的一些问题，Apache Spark计算框架的出现解决了MapReduce计算框架以上各种问题，Apache Spark是新一代的大数据计算框架，支持针对批量数据及流式数据进行处理，在数据处理上相对比MapReduce性能上提升很多，不仅编程方便还支持SQL处理数据、流式编程等。
2024-06-17 12:06:18
859
2
原创 微服务架构-线上治理、线下治理与架构演进
线上治理是根据量化分析的结果，通过相应的预案对线上服务的运行状况进行调整，保证线上服务正常运行；线下治理是根据量化分析的结果，对稳定性治理、架构治理等进行调整；服务治理当前有远程Proxy方式、智能客户端方式以及本地Proxy这3种主要承载方式；为了支撑微服务架构，提高微服务迭代效率，理想的微服务基础设施需要具备4个特点
2024-06-17 11:30:19
1036
2
原创 微服务架构-可见可观测与量化分析体系
可见可观测是服务治理反馈机制的第一步，只有获取到足够多有价值的数据，才能对服务的运行状态进行分析和控制。本文从服务可见性、变更可见性、服务可观测性三个方面阐述可见可观测的服务治理。量化分析体系是基于数据对系统进行量化、定位和分析，然后产生相应的治理措施，指导线上治理和线下治理，本文从度量、定位和风险分析这几个维度对量化分析体系进行展开讨论。
2024-06-08 09:46:07
1045
3
原创 微服务架构-正向治理与治理效果
为了解决微服务改造后带来的一系列问题，我们需要通过正向治理相应的治理手段。正向治理只要围绕效率、稳定性和效果方面的治理工作展开讨论。微服务架构的初衷主要是建立一个方便快速迭代和演进的架构，帮助业务实现方案快速落地和试错，因此在微服务研发流程上，需要重点关注两个事情：如何支撑业务特性快速落地，如何建立业务效果的闭环反馈机制。在治理效果方面，我们主要从服务的配置化和效果评估体系两个方面来说明
2024-06-08 09:30:53
765
2
原创 微服务架构-微服务治理基础
在单体服务时代并没有服务治理的概念，随着单个服务慢慢演变和拆分为众多微服务组成的系统，服务提供者与服务使用者之间如果没有明确的契约和规范，开发、测试和运维过程中会带来很大的沟通成本。本文首先介绍微服务治理的几个维度，接着说明微服务治理的目标和愿景、微服务治理的工作范畴，最后提到了微服务治理闭环体系。
2024-05-31 09:20:25
1011
3
原创 微服务架构-微服务实施
微服务改造过程中会面临很多挑战，比如如何进行服务拆分？如何保证拆分之后的微服务能够通力合作，共同对外提供服务能力？拆分之后链路复杂、故障点众多，如何保障服务的稳定性？本文将从服务拆分、服务通信以及服务稳定性设计这几个维度出发，讨论微服务实施过程中需要着重注意的问题。
2024-05-31 08:35:49
1255
3
原创 微服务架构-微服务化开展前的准备工作
微服务改造是个综合性的系统工程，涉及研发全流程的各个维度，因此在微服务实施前需要进行一些必要的准备工作，比如从团队、技术上进行一系列的储备，确保微服务实施可以稳步进行。下面重点从微服务开发框架、微服务标准化以及持续集成和发布这几个维度分析微服务开展前的一些准备工作。
2024-05-30 10:12:19
1281
4
原创 微服务架构-微服务架构的挑战与微服务化的具体时机
微服务的开发模式和单体服务差异比较大，对设计、开发、测试、运维等研发流程的各个阶段都提出了新的挑战。微服务拆分确实会带来很多实实在在的收益，但同时在开发、测试、运维等多个方面也带来了很多挑战。特别是在业务发展初期，团队人员不多，对微服务周边技术和基础设施的积累不够，贸然采取微服务架构，不仅无法带来预期的收益，还可能严重阻碍业务的快速迭代，严重时甚至可能变成一个灾难。那么我们该在什么样的时机引入微服务呢？今天我们就来看下微服务的挑战和微服务化的具体时机。
2024-05-30 10:03:40
1256
4
原创 微服务架构-为什么需要微服务
微服务架构是过去几年架构设计领域的热点，那么到底什么是微服务架构，微服务的定义是什么呢？同时，之前就已经有了单体架构，为什么需要微服务架构呢？传统单体架构有什么问题？使用微服务架构会给我们带来的什么样的收益？带着这些问题，我们一起来分析下微服务架构，阐述下为什么需要微服务架构。
2024-05-29 09:59:46
650
3
原创 项目管理-风险管理
风险是一种不确定的事件或条件，一旦发生，会对项目目标产生某种正面或负面的影响。风险有其成因，同时，如果风险发生，也导致某种后果。当事件、活动或项目有损失或收益与之相联系，涉及到某种或然性或不确定性和涉及到某种选择时，才称为有风险。风险管理就是要对项目风险进行认真的分析和科学的管理，这样，是能够避开不利条件、少受损失、取得预期的结果并实现项目目标的，能够争取避免风险的发生或尽量减小风险发生后的影响。但是，完全避开或消除风险，或者只享受权益而不承担风险是不可能的。
2024-05-29 09:46:17
709
3
原创 项目管理-人力资源管理
人才是企业发展的根本，也是项目成功的基石。一个没有凝聚力的项目团队，无论其项目目标如何美好，最终都将以失败而告终。然而，无论是企业管理还是项目管理，人的工作都是最难做的工作。常言道:“人上一百，形形色色”。要把“来自五湖四海的“形形色色”的人员组合到一个项目中，使之“为了一个共同的目标”而努力工作,需要项目经理具有较强的领导和管理才能。项目人力资源管理就是指通过不断的获得人力资源，把得到的人力资源整合到项目中并融为一体，保持和激励团队成员对项目的忠诚和积极性，控制团队成员的工作绩效并做出相应的调整.....
2024-05-26 11:35:36
1079
2
原创 项目管理-质量管理
人们常说:“质量就是生命”，这句话说明了质量管理的重要性。国家标准《软件工程 产品质量第1部分:质量型》(GB/T16260.1-2006)中对质量的定义为“软件产品特性的总和，表示软件产品满足明确或隐含要求的能力”。根据 GB/T19000-ISO 9000(2000)的定义，质量管理是指确立质量方针及实施质量方针的全部职能及工作内容,并对其工作效果进行评价和改进的一系列工作。ISO9000系列标准是现代质量管理的结晶，实际上是由计划、控制和文档工作3个部分组成循环的体系。
2024-05-26 11:20:00
865
2
原创 项目管理-软件配置管理
软件配置管理(SoftwareConfigurationManagement，SCM)是指通过执行版本控制、变更控制的规程，以及使用合适的配置管理工具，来保证所有配置项的完整性和可跟踪性。配置是在技术文档中明确说明并最终组成软件产品的功能或物理属性，包括即将受控的所有产品特性，其内容及相关文档、软件版本、变更文档、软件运行的支持数据，以及其他一切保证软件一致性的组成要素。配置管理是对工作成果的一种有效保护。
2024-04-27 17:15:31
1307
3
原创 敏捷之Scrum开发
Scrum 是敏捷开发方法之一，它使用比较广泛。敏捷的其它开发方法还有 XP(极限编程)、FDD(特性驱动开发)、Crystal(水晶方法)、TDD(测试驱动开发)、DSDM(动态系统开发)等等敏捷方法。Scrum 是一个开发和维护产品的框架，它通过提供针对复杂问题的自适应解决方案来帮助人们、团队和组织创造价值。
2024-04-27 10:09:00
1721
3
原创 项目管理-项目成本管理
项目成本是指为完成项目目标而付出的费用和耗费的资源。影响项目成本的因素非常多，而且变化大。在这些因素中，质量、进度和范围对项目成本的影响不但非常突出而且关联性很强。价格和管理水平对于项目成本也具有重要的影响。项目成本管理是在整个项目的实施过程中，为确保项目在批准的预算条件下尽可能保质按期完成，而对所需的各个过程进行管理与控制。项目成本管理包括成本估算、成本预算和成本控制三个过程。
2024-04-21 16:02:45
961
3
原创 项目管理-项目进度管理
根据项目的定义，项目是“在一定的时间内”完成其目标的一次性任务。因此，能否在给定的时间内交付产品(或服务)是衡量项目是否成功的重要标志。进度管理就是采用科学的方法，确定进度目标，编制进度计划和资源供应计划，进行进度控制，在与质量、成本目标协调的基础上，实现工期目标。
2024-04-21 11:47:02
995
3
原创 项目管理-项目范围管理
范围是项目目标的更具体的表达。在信息系统项目实践中，需求蔓延是项目失败最常见的原因之一，往往在项目启动、计划、执行，甚至收尾时还在不断地加入新的功能无论是客户的要求，还是项目团队成员对新技术的试验，都可能导致项目范围的失控，从而使项目在时间、资源和质量上都受到严重影响。范围管理就是要确定项目的边界，也就是说，要确定哪些工作是项目应该做的，哪些工作不应该包括在项目中。这个过程用于确保项目千系人对作为项目结果的产品(或服务)，以及开发这些产品所确定的过程有一个共同的理解。
2024-04-21 09:23:52
714
2
Droosl规则文件+语法结构+案例实现代码
2024-01-25
html5+jquery女神表白动画树特效
2023-06-28
python爬虫爬取网页资源
2023-06-28
程序员简历模板+简洁风格
2023-06-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人