分布式缓存Redis+codis集群 - 学习笔记

最新推荐文章于 2024-03-08 15:01:01 发布
最新推荐文章于 2024-03-08 15:01:01 发布
阅读量699 收藏
点赞数 1
分类专栏： linux相关 学习笔记 文章标签： redis 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wmj2004/article/details/75088462
版权

一. Redis基础知识

1.Redis与Memcached对比：

Memcached: 不支持持久化，纯set或get性能高过redis，简单易用，支持类型单一，没有验证。
Redis: 支持持久化，易用，支持多种数据类型，支持集群，有基础验证。
SSDB: 兼容redis,支持存储分级。
HBase:

二. Redis的安装和调优

1.Redis的编译安装：

wget http://download.redis.io/releases/redis-3.0.7.tar.gz
tar zxvf redis-3.0.7.tar.gz
cd redis-3.0.7
make PREFIX=/usr/local/redis/ install
cp utils/redis_init_script /etc/init.d/redis   #拷贝启动脚本
chmod +x /etc/init.d/redis
mkdir /etc/redis
cp redis.conf /etc/redis/6379.conf

vim /etc/init.d/redis #修改启动脚本

EXEC=/usr/local/redis/bin/redis-server
CLIEXEC=/usr/local/redis/bin/redis-cli

$CLIEXEC -h 172.16.1.211 -p $REDISPORT -a wmj shutdown  #停止脚本需要加IP和密码

2.修改配置文件：

vim /etc/redis/6379.conf

daemonize yes  #开启后台启动
pidfile /var/run/redis_6379.pid
bind 172.16.1.211         #绑定IP地址
logfile "/var/log/redis_6379.log"   #日志存放位置
dir /var/lib/redis_6379/  #持久化存放位置
requirepass wmj    #设置密码

mkdir /var/lib/redis_6379

3.启动Redis:

/etc/init.d/redis start

4.修复启动时的告警信息：

less /var/log/redis_6379.log #查看告警

vim /etc/sysctl.conf #修改内存分配策略，可能导致主从同步出现问题。

vm.overcommit_memory = 1

内存分配策略
可选值：0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
2， 表示内核允许分配超过所有物理内存和交换空间总和的内存

vim /etc/rc.local #禁用大页内存，可能导致redis延迟和内存使用问题。

echo never > /sys/kernel/mm/transparent_hugepage/enabled

vim /etc/rc.local #修改系统的baklog大小。

echo 511 > /proc/sys/net/core/somaxconn
# baklog参数实际控制的是已经3次握手成功的还在accept queue的大小。

改完后重启redis生效，查看日志看是否还有警告。

三. Redis的使用和数据类型

参考资料：http://doc.redisfans.com/

1.登陆Redis:

redis-cli -h 172.16.1.211 -a wmj

2.Redis基础命令：

auth wmj  #登录密码
set name linux   #新建一个key值
get name        #获取一个Key值
keys *       #查看所有key值，生产不要用
EXISTS name   #查看一个key值是否存在
del name        #删除一个Key值
type name       #查看Key的类型

3.字符串类型用法：

redis> SET page_view 20
OK
redis> INCR page_view   #将 key 中储存的数字值增一
(integer) 21
redis> DECR page_view   #将 key 中储存的数字值减一
(integer) 20
redis> DECRBY page_view 2  #将 key 中储存的数字值减一定数量
(integer) 18

4.哈希(hash)类型用法：

redis> HSET car price 20000
(integer) 1
redis> HSET car name BMW      #将(域-值)对设置到哈希表 key 中。
(integer) 1
redis> HGETALL car         #获取所有哈希表key域值对
1) "price"
2) "20000"
3) "name"
4) "BMW"
redis> HGET car price   #获取指定哈希表的域值对
"20000"
redis> HDEL car name    #删除哈希表的一个域值
redis> HKEYS car
1) "price"
2) "name"
redis> HLEN car       #获取哈希值长度
(integer) 2

5.列表（list）类型用法：

llen number  #查看列表长度
LPUSH number 1  #从列表左侧插入
RPUSH number 5  #从列表右侧插入
LRANGE number 0 -1  #获取所有列表值
LPOP number    #从左侧开始弹出列表值

6.集合（Set）类型的用法：

sadd a 1   #创建集合
SMEMBERS a   #获取集合
SISMEMBER a 1  #判断1是否在集合a中
SDIFF a b     #判断a和b集合的差集
SINTER a b    #判断a和b集合的交集
SUNION a b    #判断a和b集合的并集

四. Redis的持久化

参考资料：http://doc.redisfans.com/topic/persistence.html

1.Redis的两种持久化介绍：

RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。

AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写（rewrite），使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。

生产 环境可以两种同时用，会优先使用AOF。

2.RDB和AOF应该用哪一个：

一般来说， 如果想达到足以媲美 PostgreSQL 的数据安全性， 你应该同时使用两种持久化功能。

如果你非常关心你的数据， 但仍然可以承受数分钟以内的数据丢失， 那么你可以只使用 RDB 持久化。

有很多用户都只使用 AOF 持久化， 但我们并不推荐这种方式： 因为定时生成 RDB 快照（snapshot）非常便于进行数据库备份， 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快， 除此之外， 使用 RDB 还可以避免之前提到的 AOF 程序的 bug 。
最好两个同时

3.如何开启RDB快照备份：

vim /etc/redis/6379.conf

#系统默认是开启的
save 900 1       #900秒内有1个KEY改变，就保存一次
save 300 10      #300秒内有10个KEY改变，就保存一次
save 60 10000    #60秒内有10000个KEY改变，就保存一次

dbfilename dump_6379.rdb         #快照名称
dir /var/lib/redis_6379/    #快照存放位置
rdbcompression yes          #对快照进行压缩

3.如何开启AOF快照备份：

如果同时开启了rdb和aof下，会采用aof方式。
vim /etc/redis/6379.conf


appendonly yes   # 是否开启AOF，默认关闭（no）

appendfilename appendonly.aof  # 指定 AOF 文件名  

# Redis支持三种不同的刷写模式：  
# appendfsync always #每次收到写命令就立即强制写入磁盘，是最有保证的完全的持久化，但速度也是最慢的，一般不推荐使用。  
appendfsync everysec #每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，是受推荐的方式。  
# appendfsync no     #完全依赖OS的写入，一般为30秒左右一次，性能最好但是持久化最没有保证，不被推荐。  

#在日志重写时，不进行命令追加操作，而只是将其放在缓冲区里，避免与命令的追加造成DISK IO上的冲突。  
#设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入，默认为no  
no-appendfsync-on-rewrite no   

#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自动启动新的日志重写过程。  
auto-aof-rewrite-percentage 100  

#当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。  
auto-aof-rewrite-min-size 64mb

五. Redis的复制

参考资料：http://doc.redisfans.com/topic/replication.html

1.Redis的复制介绍：

Redis 使用异步复制。 从服务器会以每秒一次的频率向主服务器报告复制流
一个主服务器可以有多个从服务器。
不仅主服务器可以有从服务器
复制功能不会阻塞主服务器
复制功能也不会阻塞从服务器
复制功能可以单纯地用于数据冗余（data redundancy）
可以通过复制功能来让主服务器免于执行持久化操作： 只要关闭主服务器的持久化功能， 然后由从服务器去执行持久化操作即可。

2.开启主从复制：

slaveof 192.168.1.1 6379

六. Redis的集群

1.redis的几种集群方案：

1.客户端分片
2.代理分片
3.Redis-Cluster: 案例少，专用客户端，故障多
4.Codis： 案例多，dashboard,有迁移工具，需要zookeeper或者etctd

2.安装Codis环境：

1.安装依赖包和GO环境：
# yum install gcc glibc gcc-c++ make git
# wget  https://storage.googleapis.com/golang/go1.6.1.linux-amd64.tar.gz --no-check-certificate
# tar -zxvf go1.6.1.linux-amd64.tar.gz
# mv go /usr/local/

2.创建GOPATH:
# mkdir /usr/local/go/work
# vim /etc/profile>>
export GOROOT=/usr/local/go
export GOPATH=/usr/local/go/work
export PATH=$JAVA_HOME/bin:$PATH:$GOROOT/bin:$GOPATH/bin
<<
# source /etc/profile
# go version

3.下载Codis源码并编译：
# go get -u -d github.com/CodisLabs/codis    #下载codis
# go get github.com/tools/godep              #下载godep工具
# cd $GOPATH/src/github.com/tools/godep
# go install ./                    #安装godep
# cd $GOPATH/src/github.com/CodisLabs/codis
# make && make gotest              #安装codis

3.Zookeeper伪集群部署:

1.下载并解压zookeeper
# wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
# tar -zxvf zookeeper-3.4.10.tar.gz
# mv zookeeper-3.4.10 /usr/local/
# ln -s /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper

2.Zookeeper配置文件修改
# cd /usr/local/zookeeper/conf
# grep '^[a-z]' zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk1
clientPort=2181
server.1=172.16.1.211:3181:4181
server.2=172.16.1.211:3182:4182
server.3=172.16.1.211:3183:4183

3.创建三个目录用来存放zookeeper数据
# mkdir -p /data/zk1 /data/zk2 /data/zk3
# echo "1" >/data/zk1/myid
# echo "2" >/data/zk2/myid
# echo "3" >/data/zk3/myid

4.生成三份zookeeper配置文件
[root@SH_T_ansiblecli_02 conf]# cp zoo.cfg zk1.cfg
[root@SH_T_ansiblecli_02 conf]# cp zoo.cfg zk2.cfg
[root@SH_T_ansiblecli_02 conf]# cp zoo.cfg zk3.cfg

5.修改zk2和zk3的配置，使用对应的数据目录和端口
[root@linux-node1 conf]# sed -i 's/zk1/zk2/g'zk2.cfg
[root@linux-node1 conf]# sed -i 's/2181/2182/g'zk2.cfg
[root@linux-node1 conf]# sed -i 's/zk1/zk3/g'zk3.cfg
[root@linux-node1 conf]# sed -i 's/2181/2183/g'zk3.cfg

6.启动3个Zookeeper
/usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk1.cfg
/usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk2.cfg
/usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zk3.cfg

7.连接上zookeeper
# /usr/local/zookeeper/bin/zkCli.sh -server 172.16.1.211:2181

4.修改Codis的配置文件：

# cd /usr/local/go/work/src/github.com/CodisLabs/codis/config/
# vim dashboard.toml

后面的暂时不写了，请参考：https://github.com/CodisLabs/codis

无影V随风
关注
专栏目录
Redis学习笔记-Codis 和 Redis Cluster 的区别
qq_38937634的博客
01-24 2290
文章目录Redis学习笔记-Codis 和 Redis Cluster 的区别1.笔记图2.Codis 集群的 4 类关键组件3.Codis 是如何处理请求的？4.Codis 的关键技术原理4.1 数据如何在集群里分布？4.2 数据、Slot 、 codis server 的映射关系5.Codis集群扩容和数据迁移5.1 Codis 集群扩容5.2 Codis 集群数据迁移6.如何保证可靠性7.切片集群方案选择建议 Redis学习笔记-Codis 和 Redis Cluster 的区别 之前学习过 Redi
【Redis系列9】手把手带你搭建单机版高可用分布式Redis集群(Cluster)
m0_69745415的博客
04-23 951
Redis Cluster方案 数据分片 哈希后取模 一致性哈希 槽(slot) 如何让相关业务数据强制落在同一个槽 客户端的重定向 重新分片 ASK错误 ASK错误和MOVED错误 Redis Group 故障检测 故障转移 选举新的master节点 为什么槽定义为16384个 手动配置一个Redis Cluster集群 为什么至少需要3个maser节点 手把手搭建一个3主3从Redi集群 搭建集群常见错误..
搭建Redis缓存高可用集群环境搭建
10-23
附件详细阐述了Redis搭建集群环境的详细步骤，如果有需要的朋友可以参考下。
【修真院JAVA小课堂】redis缓存集群简单介绍
ZHH704269008的博客
10-25 275
大家好，我是IT修真院郑州分院第11期的JAVA学员，一枚正直纯洁善良的java程序员。 今天给大家分享一下，redis缓存集群简单介绍。 1.背景介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。r...
2.Redis集群(分布式缓存)
sichenss的博客
04-30 989
本篇基于B站黑马程序员 虎翼老师的 Redis入门到实战教程，全面透析redis底层原理+redis分布式锁+企业解决方案+redis实战 , 便于复习所用
redis缓存(集群)
qq_38974131的博客
09-02 409
redis集群搭建1.安装redis(windows版)Redis官方是不支持windows的，但是 Microsoft Open Tech group 在 GitHub上开发了一个Win64的版本项目地址：https://github.com/MSOpenTech/redis进入后点击releases,选择合适的版本下载，本例子中下载了Redis-x64-3.2.100.zip将压缩包解压6份放到
redis缓存及集群
AUBREY_CR7的博客
06-17 703
一、持久化数据库的缺点： 1、平常我们使用的关系型数据库有Mysql、Oracle以及SqlServer等，在开发的过程中，数据库通常都是通过web提供的数据库驱动来连接数据库进行curd操作。那么我们 日常使用的数据库的数据都存储存储在哪里呢？ 以mysql为例子：打开mysql所在文件夹目录下的的data文件夹，如下所示：   也就是说，我们日常使用的关系型数据中的数据，全部存储在我们...
Redis学习笔记
qq_39183887的博客
10-24 511
Redis - Remote Dictionary Server ​ Redis官网：https://redis.io ​ Redis中文网：http://www.redis.cn ​ Redis所属公司：Pivotal（Spring所在的公司） ​ Redis源码地址：https://github.com/antirez/redis 1. NoSQL - Not Only SQL ​ MySQL、Oracle、DB2：关系型数据库 ​ 结构化数据：使用关系型数据库表示和存储，表现形式就是二维行
学习笔记 | Redis 分布式部署方案
大虎牙的博客
09-14 2263
Redis 分布式部署方案 为什么要分布式 Redis是一款开源的基于内存的K-V型数据库，因为内存访问速度快，一般被用来做系统的缓存。 Redis作为单机部署能够支持业务简单，数据量不大的系统需求，但在实际应用中，一旦系统规模上来，单机的Redis就会遇到下面的挑战： 伸缩性。系统随着长期运行与业务增长，对Redis存储的数据量需求也越来越大，单机必然受限于服务器的内存与磁盘大小。 高性能。系统规模变大后，对Redis的吞吐量需求也会提高，而单机的吞吐量必然有限，这种情况会影响整体系统的性能。 高可用。
Redis 切片集群的数据倾斜分析
java_beautiful的博客
06-22 449
Redis 中如何应对数据倾斜 什么是数据倾斜 如果 Redis 中的部署，采用的是切片集群，数据是会按照一定的规则分散到不同的实例中保存，比如，使用Redis Cluster或Codis。v
分布式缓存——Redis集群
最新发布
xian2h的博客
03-08 325
springcloud高级——Redis集群介绍
Redis 集群之Redis+Codis方案
后端老鸟
06-02 1011
【转载请注明出处】：https://www.jianshu.com/p/41f97c494fc4 Redis 集群解决方案有哪些 Redis 的集群解决方案有社区的，也有官方的，社区的解决方案有 Codis 和Twemproxy，Codis是由我国的豌豆荚团队开源的，Twemproxy是Twitter团队的开源的；官方的集群解决方案就是 Redis Cluster，这是由 Redis 官方团队来实现的。下面的列表可以很明显地表达出三者的不同点。 Codis Twemproxy Redis Clus
redis集群版配置三种方式
OuNuo5280的博客
10-15 1510
redis的三种集群方式 redis有三种集群方式：主从复制，哨兵模式和集群。 1.主从复制 主从复制原理： 从服务器连接主服务器，发送SYNC命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令； 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照； 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令； 从服务器完成对快照的载入，开始接收命令请
Redis缓存高可用集群
EnjoyFight的博客
11-15 1304
奇数个master节点可以在满足选举该条件的基础上节省一个节点，比如三个master节点和四个master节点的集群相比，大家如果都挂了一个master节点都能选举新master节点，如果都挂了两个master节点都没法选举新master节点了，所以。，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且。真实世界的机房网络往往并不是风平浪静的，它们经常会发生各种各样的小问题。
redis和codis分享
dayibagou的专栏
02-13 6323
以下是自己的理解，可能会有些误解的地方，还请大家交流指点...... redis个人理解，已经jedis和codis性能比较
Redis集群（分布式缓存）：详解持久化、主从同步原理、哨兵机制、Cluster分片集群，实现高并发高可用
weixin_44440311的博客
06-10 2323
Redis集群（分布式缓存）：详解持久化、主从同步原理、哨兵机制、Cluster分片集群
redis缓存高可用的集群
weixin_45820447的博客
03-02 367
redis缓存高可用的集群
缓存服务——Redis集群（2）
tu464932199的博客
09-19 860
Redis在3.0版正式引入reids-cluster集群这个特性。redis集群是一个提供在多个redis间节点间共享数据的程序集。redis集群是一个分布式、容错的redis内存K/V服务，集群可以使用的功能是普通单机redis所能使用的功能的一个子集，比如redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像redis那样的性能，在高负载的情况下可能会导致不可预料的错误。还有比如set里的并集和交集操作，就没有实现。
（四）分布式缓存——Redis分片集群
方方土的博客
02-13 1645
分布式缓存——Redis分片集群：一、分片集群：1、分片集群特征：二、散列插槽：1、散列插槽：2、总结：2.1 Redis如何判断某个key应该在哪个实例？2.2 如何将同一类数据固定的保存在同一个Redis实例？三、集群伸缩：1、集群伸缩：2、添加节点：四、故障转移：五、RedisTemplate访问分片集群： 分布式缓存——Redis分片集群： 一、分片集群： Redis使用主从集群后，虽然解决了高并发读的问题，但是主从的数据同步的性能也需要提升，其中一个提升就是redis点节点的内存不要设置太高，否.
分布式Redis方案：Codis集群搭建教程
总结， Codis是应对大规模Redis部署的有效工具，通过其智能的代理机制和集群管理工具，简化了分布式缓存系统的管理和运维工作。正确地搭建和使用Codis，将有助于提升应用程序的响应速度和系统的整体性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值