分布式
撇不完
今天不走,明天要跑
展开
-
zookeeper以及分布式事物一致性杂记
zookeeper分布式协调 这个其实是zk很经典的一个用法,简单来说,好比你A系统发送个请求到mq,然后B系统消费。那么A系统如何知道B系统的处理结果?用zk就可以实现分布式系统之间的协调工作。A系统发送请求之后可以在zk上对某个节点的值注册个监听器,一旦B系统处理完了就修改那个节点的值,A立马就可以收到通知 分布式锁 对某一个数据连续发出两个修改操作,两台机器同时收到了请求,但是只...原创 2019-05-23 15:19:48 · 179 阅读 · 0 评论 -
ES 杂记
ES 适用于大数据,高并发,QPS 5000没问题 ES概念 Index 存储方案,类似特性的文档集合 Type 索引内部的逻辑分区,相当于表 Mapping 表结构定义...name,conten..... Document 原子单位,包含一个或多个Field的容器,File对应mapping表结构的定义 Inverted Index 倒排索引会按照指定语法对每一个文档进行分词,然...原创 2019-05-16 13:46:40 · 547 阅读 · 0 评论 -
MQ 杂记
文件上传,短信,画图、截图(削峰) 消息队列(解耦,削峰(早上10点,下午三点),异步),高峰QPS每秒2万,低峰期每秒几百 redis:验证码,手机安全码,流程文件,流程图,流程文件,最新列表:lpush,排行榜:sorted set 秒杀 引入mq的缺陷 可用性降低,复杂性 插入重复数据:幂等性,数据库,查修改;redis天然幂等性;生成唯一id,先去redis里面查,没有就...原创 2019-05-15 17:11:17 · 174 阅读 · 0 评论 -
Redis杂记
系统用途 查看流程文件,查看流程图,缓存实现高性能,流程文件是流程图,制度等多个数据组合得到,缓存复杂查询 缓存走内存,内存天然就可以支撑高并发,数据库并发请求建议用不超过2000 Redis单线程效率高的原因:底层采用文件事件处理器来处理请求,其是单线程的,所以redis是单线程的,采用IO多路复用,非阻塞,纯内存操作,没有多线程上下文切换 内存淘汰机制:allkeys-lru:移除...原创 2019-05-19 19:01:08 · 149 阅读 · 0 评论 -
消息队列——kafka
topic:文件上传,短信,截图,流程图,流程文件,索引文件到es。3个broken,5个partition,3个副本 引入mq的缺陷: 1.可用性降低,复杂性 2.消息重复消费:幂等性,redis天然幂等性,生成唯一id,先去redis里面查,没有就消费,kafka 设置enable.idempotence为True,生成PID,PID大于值的才被接收 3.消息遗失:producer ...原创 2019-07-04 00:01:25 · 284 阅读 · 0 评论