redis
文章平均质量分 89
秦怀
这个作者很懒,什么都没留下…
展开
-
redis cluster 搭建报错Sorry can not connect to node 192.168.8.181:7001
redis集群搭建的过程中报了一个错误:redis cluster 搭建报错“ Sorry, can’t connect to node 192.168.8.181:7001”这个错误主要是说连接不上,我们可以通过几步来排查:防火墙关掉iptables -F# 或者systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动原创 2020-05-27 00:16:28 · 2010 阅读 · 0 评论 -
(二十一)高并发redis学习笔记:搭建redis cluster集群
文章目录1、redis cluster的重要配置2、在三台机器上启动6个redis实例前提我们之前已经搭建过主从架构,在A,B上都部署redis并且启动了开机启动,A是主节点,B是从节点,同时我们在A,B,C上都部署了哨兵。那么我们需要先停掉之前所有的实例。三个机器都要搞一下redis cluster: 自动,master+slave复制和读写分离,master+slave高可用和主备切换,支持多个master的hash slot支持数据分布式存储。1、redis cluster的重要配置主要有以原创 2020-05-26 23:55:16 · 389 阅读 · 6 评论 -
(二十)高并发redis学习笔记:hash slot算法浅谈
文章目录1、redis和hash算法的关系2、hash算法的演进2.1 最初hash算法2.2 一致性hash算法2.3 redis的 hash slot算法1、redis和hash算法的关系主要是redis cluster的时候,对于请求,我们不能说随机的打到一台机器上,这样要是第一次写到A机器,第二次读的时候,读的是B机器,那么就会发生读不到的情况,这样缓存不就失去意义了么?所以redis中hash算法的可以简单理解为,想办法如何让同一个请求,每一次都打到同一个机器上,不同请求分布到不同的机器上原创 2020-05-25 01:28:03 · 823 阅读 · 0 评论 -
(十九)高并发redis学习笔记:主从模式和cluster模式简谈
文章目录1、 主从模式2、 哨兵模式3、 Redis集群(cluster)模式4、选择redis cluster 还是 replication + sentinal?redis主要有几种模式:主从模式哨兵模式集群模式1、 主从模式基于主从复制的特性,一般有一个主节点,多个从节点,默认是我们可以从主节点写,写入的数据会自动备份到从节点,可以从从节点读取数据。这样做的好处是,解决单台redis的读请求的瓶颈,可以横向扩容读请求,相当于做到了读请求的负载均衡。从节点也是可以支持写的,但是不会复原创 2020-05-25 01:27:16 · 604 阅读 · 0 评论 -
(十八)高并发redis学习笔记:哨兵模式的管理以及容灾演练实验
文章目录1、哨兵节点的增加和删除1.1 增加sentinal1.2 删除sentinal2、slave的永久下线3、基于哨兵集群架构下的安全认证4、容灾演练4.1 master发生故障4.2 故障恢复5、哨兵的生产环境部署1、哨兵节点的增加和删除1.1 增加sentinal当我们增加哨兵的时候,会自动识别到并添加到其他的哨兵的发现信息中。1.2 删除sentinal(1)停止sentinal进程,我们选择第三台机器kill -9停掉(2)SENTINEL RESET \*,在所有senti原创 2020-05-24 02:29:58 · 426 阅读 · 0 评论 -
(十七)高并发redis学习笔记:3节点哨兵搭建
文章目录1、哨兵的配置文件2、部署三台redis3、启动哨兵进程4、检查哨兵状态1、哨兵的配置文件sentinel.conf,这个文件就在redis目录下:每一个哨兵都可以去监控多个maser-slaves的主从架构,相同的一套哨兵集群,就可以去监控不同的多个redis主从集群。可以给每个redis主从集群分配一个逻辑的名称,如下面的mymaster和resque。下面其实就是可以监听两个集群的master。sentinel monitor mymaster 127.0.0.1 6379 2se原创 2020-05-24 01:01:02 · 419 阅读 · 0 评论 -
redis哨兵启动master sdown
搭建好哨兵之后,哨兵一启动,过了30秒就会判断master sdown:[root@cache01 ~]# redis-sentinel /etc/sentinal/5000.conf1239:X 23 May 01:40:00.457 * Increased maximum number of open files to 10032 (it was originally set to 1024). _._原创 2020-05-24 00:58:58 · 3455 阅读 · 13 评论 -
(十六)高并发redis学习笔记:哨兵底层原理以及slave选举算法
文章目录1、sdown和odown转换机制2、哨兵集群的自动发现机制3、slave配置的自动纠正4、slave->master选举算法5、quorum和majority6、configuration epoch7、configuraiton传播1、sdown和odown转换机制sdown和odown两种失败状态:sdown是主观宕机,就一个哨兵如果自己觉得一个master宕机了,那么就是主观宕机。sdown达成的条件很简单,如果一个哨兵ping一个master,超过了is-master-dow原创 2020-05-24 00:57:15 · 609 阅读 · 0 评论 -
(十五)高并发redis学习笔记:浅谈主从加哨兵模式下的数据丢失和脑裂问题
文章目录1、两种数据丢失的情况1.1异步复制导致的数据丢失1.2 脑裂导致的数据丢失2、解决异步复制和脑裂导致的数据丢失1、两种数据丢失的情况主备切换的过程,可能会导致数据丢失1.1异步复制导致的数据丢失master node到 slave node的复制是异步的,不能完全保证刚刚接受就写到slave,所以可能有部分数据还没复制到slave,还在内存中,master就宕机了,此时这些部分数据就丢失了,这个是不能避免的,我们把复制的阈值降低,只能减少损失。1.2 脑裂导致的数据丢失脑裂,一般是指在原创 2020-05-17 23:18:10 · 755 阅读 · 0 评论 -
(十四)高并发redis学习笔记:哨兵机制解析
文章目录1、哨兵的介绍1.1 哨兵集群的介绍和功能1.2 哨兵监控任务1.2.1 获取最新拓扑图1.2.2 发布订阅哨兵信息以及状态1.2.3 心跳检测2、从源码看哨兵任务都干了啥2.1 哨兵定时器2.1.1 sentinelCheckTiltCondition()函数2.1.2 sentinelHandleDictOfRedisInstances()函数3、故障检测以及转移3.1 为什么redis哨兵集群只有2个节点无法正常工作?3.2 经典的三节点哨兵集群1、哨兵的介绍1.1 哨兵集群的介绍和功能原创 2020-05-17 21:22:04 · 639 阅读 · 0 评论 -
(十三)高并发redis学习笔记:高可用和哨兵机制概述
文章目录1、高可用1.1 高可用是什么?1.2 redis高可用思路2、哨兵系统1、高可用1.1 高可用是什么?高可用(High Availability),是分布式架构中应该考虑的,如果我们系统可以一直毫无间断的提供服务,我们我们就说系统的可用性是100%,有些公司给的目标是4个9,也就是99.99%的时间内必须是可用的,换算下来,一年不可用的时间不能超过8.76小时。但是我们知道,无论是人还是机器,都是有可能出错的,出错了怎么办?如何快速的补救。这里不得不提,单点是系统高可用的最大敌人,高可用,原创 2020-05-13 23:36:43 · 360 阅读 · 0 评论 -
(十二)高并发redis学习笔记:对redis主从架构redis-benchmark压测
前提1.上一小结,搭建好了一主一从的redis架构2.redis自己提供的redis-benchmark压测工具,是最快捷最方便的。1、对redis读写分离架构进行压测,单实例写QPS+单实例读QPScd /usr/local/redis-3.2.8/src./redis-benchmark -h 192.168.8.187主要的命令格式:-c 模拟多少个客户端发送请求,默认50-n 请求总数(默认 100000)-d 数据大小:(默认 2)原创 2020-05-13 00:31:25 · 461 阅读 · 0 评论 -
(十一)高并发redis学习笔记:部署高可用的redis主从架构
文章目录1、如何搭建主从架构1.1 java环境安装1.2 redis环境安装1.3 相关配置测试细节1.3.1 强制读写分离1.3.2 集群安全认证1.3.3 读写分离架构的测试1、如何搭建主从架构我们知道了主从复制的原理之后,关键是怎么搭建呢???我想当我们学会了这些之后,都知道概念了,都想实际的尝试一下。本节的目的:1.搭建一主一从架构2.测试:往主节点去写,在从节点去读,可以读到,主从架构就搭建成功了1.1 java环境安装首先需要在安装好java环境的机器上操作:wget http原创 2020-05-12 01:35:21 · 1109 阅读 · 0 评论 -
(十)高并发redis学习笔记:redis主从复制原理、断点续传、无磁盘化复制、过期key处理
文章目录1、主从架构的核心原理1.1 全量复制1.2 增量复制2、主从复制的断点续传3、无磁盘化复制4、过期key处理5、heartbeat和异步复制1、主从架构的核心原理主从架构的复制同步主要有两种,一种是全量复制,一种是增量复制。(1)slave node启动,仅仅保存master node的信息,包括master node的host和ip,但是复制流程没开始master host和ip是从哪儿来的,redis.conf里面的slaveof配置的(2)slave node内部有个定时任务,每秒原创 2020-05-11 00:12:57 · 899 阅读 · 0 评论 -
(九)高并发redis学习笔记:redis主从架构以及读写分离如何承载读高并发
文章目录1、redis如何承载高并发2、redis replication基本原理3、有了主从架构就不用做持久化或者备份了么?1、redis如何承载高并发需要明确的一点:redis只是解决高并发架构里面的一个环节,而且是读高并发,如果是写高并发的话,可能需要考虑其他的异步,或者消息队列方式。redis的瓶颈在哪里?单机模式,一般来说QPS从一万到几万不等,当然机器性能好,配置牛,那可能会更高。一般来说读写分离适合写请求比较少,大概一秒几千,大量的请求都是读请求。读请求大概一秒钟十几万,几十万。一直原创 2020-05-11 00:12:12 · 518 阅读 · 0 评论 -
(八)高并发redis学习笔记:redis企业级数据备份方案是怎么样的?
一直很好奇,在企业中,持久化到底是怎么去用得呢?企业级的数据备份和各种灾难下的数据恢复,是怎么做得呢?文章目录1、企业级的持久化的配置策略1.1 rdb持久化策略1.2 AOF持久化策略1.3 AOF rewrite操作2、企业级的数据备份方案3、数据恢复方案1、企业级的持久化的配置策略在企业中,一般都是RDB和AOF都会打开。1.1 rdb持久化策略RDB的生成策略,用默认的也差不多...原创 2020-05-02 20:59:12 · 570 阅读 · 0 评论 -
(七)高并发redis学习笔记:redis的AOF持久化机制深入理解以及数据恢复实验
课程大纲文章目录1、AOF持久化的配置2、AOF持久化的数据恢复实验3、AOF rewrite4、AOF破损文件的修复5、AOF和RDB同时工作6、最后一个小实验,让大家对redis的数据恢复有更加深刻的体会1、AOF持久化的配置AOF持久化,默认是关闭的,默认是打开RDB持久化只需要将配置文件修改成:appendonly yes可以打开AOF持久化机制,在生产...原创 2020-05-02 20:57:47 · 465 阅读 · 0 评论 -
浅谈redis的RDB持久化机制
文章目录1、RDB简介2、如何触发2.1 手动触发2.2 自动触发2.2.1 自动保存的原理3、删除rdb文件能不能恢复?4、RDB的优点和缺点4.1 优点4.2 缺点1、RDB简介Redis有两种持久化形式,一种是RDB快照模式(snapshot),另一种是AOF(Append-Only-file)。RDB是将当前的数据集快照写入磁盘, Redis 重启动时, 可以通过载入 RDB 文件来...原创 2020-05-02 13:32:00 · 671 阅读 · 0 评论 -
(二)高并发redis学习笔记:从零开始在虚拟机中搭建多个节点的centos的集群(桥接版)
之前的是在学校宿舍搭建的,用了NAT模式,但是后来毕业了,成了社会人,又走了一遍,又遇到了其他奇奇怪怪的问题,所以记录一下,希望对大家有那么一丁点的帮助吧,这个是桥接版本的,很多坑都是百度解决的????????????…我们要使用redis,可以再windows上装,直接到官网下载windows版本的即可,但是我们要还原在生产环境的redis环境,就要装linux系统了,通常我们在生产环境的节点不止一个,redi...转载 2020-05-01 13:48:57 · 542 阅读 · 0 评论 -
(一)高并发redis学习笔记:小电商网站架构与高并发架构区别
主要的知识:redis集群+storm集群+nginx+tomcat+mysql真正能支撑高并发以及高可用的复杂系统中的缓存架构有哪些东西?(1)如何让redis集群支撑几十万QPS高并发+99.99%高可用+TB级海量数据+企业级数据备份与恢复?:redis企业级集群架构(2)如何支撑高性能以及高并发到极致?同时给缓存架构最后的安全保护层?:(nginx+lua)+redis+ehcac...原创 2019-05-01 11:21:13 · 853 阅读 · 0 评论 -
(二)高并发redis学习笔记:从零开始在虚拟机中搭建多个节点的centos的集群
我们要使用redis,可以再windows上装,直接到官网下载windows版本的即可,但是我们要还原在生产环境的redis环境,就要装linux系统了,通常我们在生产环境的节点不止一个,redis集群,集群部署,主从架构,也就是redis会部署在多台机器上,下面我们会一步一步搭建centOS的多个节点,主从架构,模拟生产环境。目录大纲:1、在虚拟机中安装CentOS2、在每个CentOS...原创 2019-05-15 10:28:29 · 2262 阅读 · 0 评论 -
(三)高并发redis学习笔记:单机版redis安装以及生产环境启动方案
大纲1、安装单机版redis2、redis的生产环境启动方案3、redis cli的使用1、安装单机版redis大家可以自己去官网下载,当然也可以用课程提供的压缩包需要先下载tcl,要不可能make test的时候会出错wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gztar -xzvf tcl8.6.1-s...原创 2019-05-15 11:57:22 · 536 阅读 · 0 评论 -
(四)高并发redis学习笔记:redis持久化的意义主要是什么?
redis的持久化意义是什么?(主要是故障恢复)redis,可以作为cache缓存,当然也可以保存一些较为重要的数据。如果没有持久化的话,redis遇到灾难性故障的时候,就会丢失所有的数据,因为redis的数据是加载在内存中的。我们知道,内存的数据在断电或者重启之后,一般是没有了。肯定会有人说,那redis岂不是很危险,谁敢用?一般来说,redis会配合其他关系型数据库一起使用,但是也有直接...原创 2019-05-15 12:14:25 · 650 阅读 · 0 评论 -
(五)高并发redis学习笔记:RDB和AOF两种持久性机制的介绍以及优缺点对比
目录1、RDB和AOF两种持久化机制的介绍2、RDB持久化机制的优点3、RDB持久化机制的缺点4、AOF持久化机制的优点5、AOF持久化机制的缺点6、RDB和AOF到底该如何选择我们已经知道对于一个企业级的redis架构来说,持久化是不可减少的,持久化主要是做灾难恢复,数据恢复,也可以归类到高可用的一个环节里面去。比如你redis整个挂了,然后redis就不可用了,你要做的事情是让r...原创 2019-05-16 20:04:29 · 670 阅读 · 0 评论 -
(六)高并发redis学习笔记:redis的RDB持久化机制配置以及数据恢复的实验
课程大纲1、如何配置RDB持久化机制2、RDB持久化机制的工作流程3、基于RDB持久化机制的数据恢复实验1、如何配置RDB持久化机制redis.conf文件,也就是/etc/redis/6379.conf,去配置持久化(修改文件),默认的已经是可以满足我们一般使用了。cd /etc/redisvi 6379.confsave 60 1000每隔60s,如果有超过1000个ke...原创 2019-05-16 23:35:46 · 494 阅读 · 0 评论 -
(一)redis初识与安装(windows)
Redis是什么?Redis是一个开源免费的,性能较高的key-value数据库,我们常见的mysql叫关系型数据库,redis属于非关系型数据库。所谓性能高,读的速度11000次/s,写的速度是81000次/s,(直接在内存中)注意是理论速度,实测没有那么高,我们在业务评估的时候需要稍微把redis性能估低一点。redis支持list,set,zset,hash等数据结构的存储。re...原创 2018-11-28 10:39:30 · 421 阅读 · 0 评论