Cluster模式潜在问题
馒头太帅了
这个作者很懒,什么都没留下…
展开
-
Cluster模式潜在问题学习笔记---分布式调度之Elastic-Job介绍
Cluster模式潜在问题学习笔记—分布式调度之Elastic-Job介绍1.Elastic-Job介绍Elastic-Job是当当⽹开源的⼀个分布式调度解决⽅案,基于Quartz⼆次开发的,由两个相互独⽴的⼦项⽬Elastic-Job-Lite和Elastic-Job-Cloud组成。我们要学习的是 Elastic-Job-Lite,它定位为轻量级⽆中⼼化解决⽅案,使⽤Jar包的形式提供分布式任务的协调服务,⽽Elastic-Job-Cloud⼦项⽬需要结合Mesos以及Docker在云环境下使⽤。原创 2020-09-21 23:13:39 · 179 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---分布式调度之定时任务场景回顾
Cluster模式潜在问题学习笔记—分布式调度之定时任务场景回顾调度—>定时任务,分布式调度—>在分布式集群环境下定时任务这件事主要看看Elastic-job(当当⽹开源的分布式调度框架)1. 应用场景定时任务形式:每隔⼀定时间/特定某⼀时刻执⾏例如:订单审核、出库订单超时⾃动取消、⽀付退款礼券同步、⽣成、发放作业物流信息推送、抓取作业、退换货处理作业数据积压监控、⽇志监控、服务可⽤性探测作业定时备份数据⾦融系统每天的定时结算数据归档、清理作业报表、离线数据分原创 2020-09-21 22:02:04 · 270 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---分布式ID问题和解决⽅案
Cluster模式潜在问题学习笔记—分布式ID解决⽅案1.为什么需要分布式ID(分布式集群环境下的全局唯⼀ID)因为当单表A数据量过多,于是就将单表A拆分成A1表,A2表,A3表,并且表的结构是一样的,但是拆出来的三个表数据的主键id是不能一样的,所以就需要分布式集群环境下的全局唯⼀ID2. 分布式ID解决⽅案:生成UUIDUUID是指Universally Unique Identifier,翻译为中⽂是通⽤唯⼀识别码,产⽣重复 UUID 并造成错误的情况⾮常低,是故⼤可不必考虑此问题。原创 2020-09-21 00:20:26 · 373 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---集群时钟同步问题
Cluster模式潜在问题学习笔记—集群时钟同步问题1.时钟不同步导致的问题时钟此处指服务器时间,如果集群中各个服务器时钟不⼀致势必导致⼀系列问题,试想 “集群是各个服务器⼀起团队化作战,⼤家⼯作都不在⼀个点上,岂不乱了套!”举⼀个例⼦,电商⽹站业务中,新增⼀条订单,那么势必会在订单表中增加了⼀条记录,该条记录中应该会有“下单时间”这样的字段,往往我们会在程序中获取当前系统时间插⼊到数据库或者直接从数据库服务器获取时间。那我们的订单⼦系统是集群化部署,或者我们的数据库也是分库分表的集群化部署,原创 2020-09-20 18:07:45 · 466 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记--- Nginx 配置⼀致性Hash负载均衡策略
Cluster模式潜在问题学习笔记— Nginx 配置⼀致性Hash负载均衡策略ngx_http_upstream_consistent_hash模块是⼀个负载均衡器,使⽤⼀个内部⼀致性hash算法来选择合适的后端节点。该模块可以根据配置参数采取不同的⽅式将请求均匀映射到后端机器,consistent_hash $remote_addr:可以根据客户端ip映射consistent_hash $request_uri:根据客户端请求的uri映射consistent_hash $args:根据客原创 2020-09-20 17:02:15 · 157 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---一致性Hash算法原理
Cluster模式潜在问题学习笔记—一致性Hash算法原理1.⼀致性Hash算法:⼀致性哈希算法思路如下⾸先有⼀条直线,直线开头和结尾分别定为为1和2的32次⽅减1(整型Integer的最大范围),这相当于⼀个地址,对于这样⼀条线,弯过来构成⼀个圆环形成闭环,这样的⼀个圆环称为hash环。我们把服务器的ip或者主机名求hash值然后对应到hash环上(hash环上对应的红色大节点)。那么针对客户端⽤户(绿色人头),也根据它的ip进⾏hash求值,对应到环上某个位置,然后如何确定⼀个客户端路由到原创 2020-09-20 16:48:42 · 124 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---普通Hash算法存在的问题
Cluster模式潜在问题学习笔记—普通Hash算法存在的问题除了一致性hash算法以外的的都是普通hash算法普通Hash算法存在⼀个问题,以ip_hash为例(ip_hash也是普通的hash算法,通过求模取值)假定下载⽤户ip固定没有发⽣改变,现在tomcat3出现了问题,down机了,服务器数量由3个变为了2个,之前所有的求模都需要重新计算。(Nginx在图里先省略了)由于Tomcat3宕机了,所以客户端要重新进行求模计算,得到新的模要映射到对应的服务器上去,如果之前的求模和现在的求模是一原创 2020-09-19 15:33:25 · 93 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---一致性Hash算法之负载均衡应用场景
Cluster模式潜在问题学习笔记—一致性Hash算法之负载均衡应用场景1. Hash算法应⽤场景Hash算法在分布式集群架构中的应⽤场景Hash算法在很多分布式集群产品中都有应⽤,⽐如分布式集群架构Redis、Hadoop、ElasticSearch,Mysql分库分表,Nginx负载均衡等主要的应⽤场景归纳起来两个请求的负载均衡(⽐如:Nginx的ip_hash策略(ip_hash也是hash算法的一种应用))分布式存储2. 应用场景一:请求的负载均衡(⽐如:Nginx的ip_h原创 2020-09-19 15:16:38 · 159 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---一致性Hash算法回溯
Cluster模式潜在问题学习笔记—一致性Hash算法回溯1.Hash算法⽐如说在安全加密领域MD5、SHA等加密算法,在数据存储和查找⽅⾯有Hash表等, 以上都应⽤到了Hash算法。2.为什么需要使⽤Hash?Hash算法较多的应⽤在数据存储和查找领域,最经典的就是Hash表,它的查询效率⾮常之⾼,其中的哈希算法如果设计的⽐较ok的话,那么Hash表的数据查询时间复杂度可以接近于O(1)3.需求提供⼀组数据 1,5,7,6,3,4,8,对这组数据进⾏存储,然后随便给定⼀个数n,请你判断n是否原创 2020-09-19 12:57:16 · 81 阅读 · 0 评论 -
Cluster模式潜在问题学习笔记---分布式和集群的概念
Cluster模式潜在问题学习笔记—分布式和集群的概念1.分布式和集群介绍1. 分布式和集群是不⼀样的,分布式⼀定是集群,但是集群不⼀定是分布式(因为集群就是多个实例⼀起⼯作,分布式将⼀个系统拆分之后那就是多个实例;集群并不⼀定是分布式,因为复制型的集群不是拆分⽽是复制)...原创 2020-09-17 15:01:53 · 169 阅读 · 0 评论