云计算
文章平均质量分 86
书香门第
努力中的软件工程师
展开
-
在分布式环境中使用状态机支持数据的一致性
在本文中,我们将介绍如何在分布式系统中使用transaction以及分布式系统中transaction的局限性。然后我们通过一个具体的例子,介绍了一种通过设计状态机来避免使用transaction的方法。原创 2024-03-08 02:53:17 · 1479 阅读 · 0 评论 -
关于在分布式环境中RVN和使用场景的介绍4
在本文中,我们介绍了在分布式环境中基于RVN可以解决的一类新的问题,也就是防止多个请求同时修改一条记录而互相覆盖的问题,并且探讨了基于该问题的扩展情况。原创 2024-02-22 07:24:46 · 1102 阅读 · 0 评论 -
通过写代码学习AWS DynamoDB (3)- 一致性hash
我们在本文中介绍了一致性hash的概念,并且在我们的DDB的模拟实现中实现了一个简单版本的一致性hash的partition管理者类。然后我们讨论了一些和一致性hash有关的问题。原创 2024-02-17 02:56:35 · 1087 阅读 · 0 评论 -
关于在分布式环境中RVN和使用场景的介绍3
我们在收到一条待处理的事件时,需要检查该事件的RVN是否已经太旧。如果该事件的RVN已经太旧,我们就不再处理该事件,并且丢弃该事件。通过这个逻辑,我们可以保障在分布式环境中正确的处理消息的乱序,丢失,和重复等问题。就这个逻辑本身而言是非常简单的。但是我们现在要考虑到分布式环境中所有的消息处理都是并行的,我们需要小心的检查这个逻辑的实现。在本文中,我们讨论一下如何在分布式环境中正确的处理这个逻辑。原创 2024-02-13 08:29:24 · 975 阅读 · 0 评论 -
使用No-SQL数据库支持连接查询用例的讨论
在本文中我们介绍了什么是No-SQL数据库。并且讨论了如何使用key-value数据库来解决连接查询的问题。原创 2024-02-06 15:54:28 · 1328 阅读 · 0 评论 -
关于在分布式环境中RVN和使用场景的介绍2
在本文中,我们继续讨论了对于分布式系统中RVN的使用技巧,及其被用来解决一类特殊的由hot primary key消息引起的性能问题的使用方法和细节。原创 2024-01-30 08:40:54 · 640 阅读 · 0 评论 -
通过写代码学习AWS DynamoDB (2)
在上一篇文章里,我们实现了DDB的基本API。在本文中,我们将进一步增强该DDB的模拟实现,给DDB加入Partition。我们简单介绍一下Shard和Parition的概念。然后我们会在DDB的实现中加上一个简单的Parition的实现。原创 2024-01-27 02:37:19 · 950 阅读 · 0 评论 -
关于在分布式环境中RVN和使用场景的介绍1
我们首先介绍一下分布式环境中开发会遇到的一类问题,然后介绍什么是RVN以及怎么样使用RVN来解决该类问题。最后我们会介绍一下RVN的典型使用用例。原创 2024-01-24 04:32:14 · 419 阅读 · 0 评论 -
基于最终收敛的分布式系统设计讨论2
本文对于分布式系统中对于数据进行更新时出现的数据不一致的问题和解决方案进行描述和讨论。同时进一步描述了更多有关的技术问题。原创 2024-01-22 16:21:46 · 395 阅读 · 0 评论 -
AWS入门指南之四:微服务以及Lambda
这篇文章我们聊一聊微服务的概念,和aws里与微服务关系比较紧密的两个计算服务:Lambda和ECS Fargate。什么是微服务(microservice)?按照维基百科的定义,微服务是面向服务架构(servcie-oriented-architecture - SOA)的变体。服务是许多松散耦合的服务集合。在微服务中,服务是细粒度的,协议是轻量级的。那么什么是面向服务架构呢?SOA是一种设计方式,它基于一种理念是系统中的每一个部件利用网络通信协议向其它系统部件提供远程服务。所有的部件功能应该是独立的。原创 2020-07-04 16:20:11 · 744 阅读 · 0 评论 -
AWS入门指南之三:一致性问题
最近比较忙,很少来更新博客。这一次我们简单聊一聊一致性的问题。对于一个分布式系统来讲,一致性问题是一个非常重要,非常基础的问题。对于分布式系统的框架设计者,可以说是一个需要考虑的基本问题。在分布式系统中一个基础理论是CAP,具体说就是一致性(Consistency),可用性(Availability),分区容错(Partition tolerance)。一个个具体解释一下:一致性:每一个读操作可以接收到最新的数据或者是错误可用性:每一个请求可以接收到一个没有错误的相应,但是不保证该相应包含最后写的数原创 2020-06-22 01:16:58 · 841 阅读 · 0 评论 -
AWS入门指南之二:泛谈AWS的分布式概念
今天从宽泛的角度谈谈AWS的分布式概念。首先,AWS是一个基于分布式架构构建的云服务,我想这一点是最清楚最明白,人人皆知不过的了。但是,当我们开始使用AWS以后就会发现分布式远不像我们想象中那么清晰,而是经常会忘记,并且需要时时提醒自己我正在使用的是一个分布式系统。当我们后面讨论一些AWS当中最流行的服务,比如DynamoDB,比如S3,我们会涉及到一个很有趣的概念,叫做consistency。我们会需要深入理解eventually consistency的概念,和使用这样的服务时需要克服的一些陷阱。而这些原创 2020-05-26 08:43:15 · 748 阅读 · 0 评论 -
AWS入门指南之一:怎样创建免费的AWS账号
从今天起,打算慢慢写一系列关于aws的文章。主要集中于AWS的一些基本知识和操作指南。这其中会穿插于介绍一些云和分布式系统的知识,但是以AWS的实现为主。可能会带有少量的代码,但是主体操作应该会使用AWS Console和AWS CLI来完成。面向的读者是对云和AWS感兴趣,但是还一无所知的人群。当然对于某些主题,对于某些有一定经验但是对于该主题不是很熟悉的读者也可以作为借鉴。另外,AWS带有非常...原创 2020-05-04 07:40:42 · 5828 阅读 · 0 评论 -
OO过时了吗?软件危机还有吗?
今天随便聊两句最近觉得有点迷惑的问题。年龄大一点的程序员应该都经历过大家都在谈OO的年代。那个时候我们最热衷的问题大概无外乎什么是对象,对象间的关系,UML,等等技术话题,以及对于非OO设计的深深鄙视了。但是三十年河东,三十年河西,不知何时OO已经不是计算机科学领域的热点话题了。取而代之的是云计算,函数式编程。但是OO是否真的过时了?我仔细地想了想这个问题,其实毫无疑问OO并没有过时。第一,绝...原创 2020-04-13 08:23:00 · 823 阅读 · 0 评论