缓存加速---NoSQL之Redis配置与优化

最新推荐文章于 2024-04-04 05:53:14 发布
最新推荐文章于 2024-04-04 05:53:14 发布
阅读量620 收藏
点赞数
分类专栏： 缓存加速 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47153668/article/details/108504963
版权

理论+实验·NoSQL之Redis配置与优化

一、关系数据库和非关系数据库

1.1 关系型数据库

  • 一个结构化的数据库,创建在关系模型基础上
  • 一般面向于记录
  • 包括
    • Oracle、MySQL、SQL Server、Microsoft Access、DB2等

1.2 非关系型数据库

  • 除了主流的关系型数据库外的数据库,都认为是非关系型
  • 包括
    • Redis、MongDB、Hbase、CouhDB等

1.3 非关系型数据库产生背景

  • High performance——对数据库高并发读写需求
  • Huge Storage——对海量数据高效存储与访问需求
  • High Scalability && High Availability——对数据库高可扩展性与高可用性需求

1.4 Redis简介

  • Redis基于内存运行并支持持久化
  • 采用key-value(键值对)的存储形式
  • 优点
    1. 具有极高的数据读写速度
    2. 支持丰富的数据类型
    3. 支持数据的持久化
    4. 原子性
    5. 支持数据备份

二、Redis安装部署

2.1 操作步骤

  1. 解压软件包
  2. make && make install
  3. 设置Redis相关配置文件
  4. 查看运行状态

2.2 编译安装Redis

[root@localhost ~]# tar zxvf redis-5.0.7.tar.gz -C /opt/
[root@localhost ~]# cd /opt/redis-5.0.7
[root@localhost redis-5.0.7]# make
[root@localhost redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@localhost redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/

2.3 设置Redis相关配置文件

[root@localhost ~]# cd /opt/redis-5.0.7/utils/
[root@localhost utils]# ./install_server.sh				'//一直按回车'
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@localhost utils]# vim /etc/redis/6379.conf
...
bind 127.0.0.1 20.0.0.10				'//70行'
...
port 6379								'//93行'
...
daemonize yes							'//137行'
...
pidfile /var/run/redis_6379.pid			'//159行'
...
loglevel notice							'//167行'
...
logfile /var/log/redis_6379.log			'//172行'
...

2.4 Redis进程控制

[root@localhost utils]# /etc/init.d/redis_6379 status		'//查看状态'
[root@localhost utils]# /etc/init.d/redis_6379 stop			'//停止'
[root@localhost utils]# /etc/init.d/redis_6379 start		'//启动'
[root@localhost utils]# /etc/init.d/redis_6379 restart		'//重启'

2.5 Redis配置文件

  • 配置参数(/etc/redis/6379.conf)
    1. bind ===>监听的主机地址
    2. port ===>端口
    3. daemonize yes ===>启用守护进程
    4. pidfile ===>指定PID文件
    5. loglevel notice ===>日志级别
    6. logfile ===>指定日志文件

2.6 Redis部署流程

#预安装环境
[root@localhost ~]# yum -y install gcc gcc-c++ make 

#编译安装
[root@localhost ~]# tar zxvf redis-5.0.7.tar.gz -C /opt/
[root@localhost ~]# cd /opt/redis-5.0.7
[root@localhost redis-5.0.7]# make
[root@localhost redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@localhost redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/

#安装Redis
[root@localhost ~]# cd /opt/redis-5.0.7/utils/
[root@localhost utils]# ./install_server.sh				'//一直按回车'
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

#配置文件
[root@localhost utils]# vim /etc/redis/6379.conf
...
bind 127.0.0.1 20.0.0.10				'//70行'
...
port 6379								'//93行'
...
daemonize yes							'//137行'
...
pidfile /var/run/redis_6379.pid			'//159行'
...
loglevel notice							'//167行'
...
logfile /var/log/redis_6379.log			'//172行'
...
[root@localhost utils]# /etc/init.d/redis_6379 restart		'//重启'

#登录Reids数据库
[root@localhost utils]# redis-cli -h 20.0.0.10 -p 6379
20.0.0.10:6379> 						'//quit退出'

三、Redis数据库常用命令

3.1 redis-cli命令行工具

  • 连接本地数据库
    [root@localhost utils]# redis-cli
127.0.0.1:6379>
  • 连接远程数据库
    [root@localhost utils]# redis-cli -h 20.0.0.10 -p 6379
20.0.0.10:6379>
  • 获取命令帮助
    1. help @ 获取中的命令列表
    2. help 获取某个命令的帮助
    3. help 获取可能帮助的主题列表
  • set 存放数据
  • get 获取数据
    [root@localhost ~]# redis-cli
127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> get name
"zhangsan"
  • key相关命令
    1. keys ===>获取符合规则的键值列表
    2. exists ===>判断键值是否存在
    3. del ===>删除当前数据库的指定key
    4. type ===>获取key对应的value值类型
    5. rename(覆盖)/renamenx(不覆盖) ===>对已有的key进行重命名
    6. dbsize ===>查看当前数据库中key的数目
  • redis-benchmark测试工具

    1. -h 指定服务器主机名

    2. -p 指定服务器端口

    3. -c 指定并发连接数

    4. -n 指定请求数

    5. -d 以字节的形式指定SET/GET值的数据大小

    6. -q 强制退出Redis,仅显示query/sec值

    7. 向IP地址为20.0.0.10、端口为6379的Redis服务器发送100个并发连接与100000个请求测试性能

      [root@localhost ~]# redis-benchmark -h 20.0.0.10 -p 6379 -c 100 -n 100000

    8. 测试存取大小为100字节的数据包的性能

      [root@localhost ~]# redis-benchmark -h 20.0.0.10 -p 6379 -q -d 100

3.2 Redis多数据库操作

  • Redis支持多数据库,默认支持16个数据库,0-15命名
  • 多数据库相互独立,互不干扰
  • 多数据库常用命令

    1. 多数据库间切换

      select [0-15]			'//切换数据库'

    2. 多数据库间移动数据

      move key db				'//移动数据,源数据会删除'

    3. 清除数据库内数据

      del key

3.3 设置hash结构

hset 对象名称 对象属性名称 值

127.0.0.1:6379> hset person name zhangsan
127.0.0.1:6379> hset person age 18
127.0.0.1:6379> hset person score 90
127.0.0.1:6379> keys *
1)"person"
127.0.0.1:6379> hget person name
"zhangsan"

四、Redis持久化

  • 持久化概述
    1. Redis是运行在内存中,内存中的数据断电丢失
    2. 为了能够重用Redis数据,或者防止系统故障,需要将Redis中的数据写入到磁盘空间中,即持久化
  • 持久化分类
    1. RDB方式: 创建快照的方式获取某一个时刻Redis中所有数据的副本
    2. AOF方式: 将执行的写命令写到文件的末尾,以日志的方式来记录数据的变化

4.1 RDB持久化

  • Redis的默认持久化方式
  • 默认文件名dump.rdb
  • 触发条件
    1. 在指定的时间间隔内,执行指定次数的写操作(配置文件控制)
    2. 执行save或者是bgsave(异步)命令
    3. 执行flushall命令,清空数据库所有数据
    4. 执行shutdown命令,保证服务器正常关闭且不丢失任何数据
  • 优缺点
    1. 适合大规模的数据恢复
    2. 如果业务对数据完整性和一致性要求不高,RDB是很好的选择
    3. 数据的完整性和一致性不高
    4. 备份时占用内存
  • 通过RDB文件恢复数据
    • 将dump.rdb文件拷贝到redis的安装目录的bin目录下,重启redis服务即可
  • 配置文件选项
    [root@localhost ~]# vim /etc/redis/6379.conf		
...
save 900 1			'//900秒之内至少一次写操作'
save 300 10			'//300秒之内至少发生20次写操作'
save 60 10000		'//60秒之内发生至少10000次写操作'
					'//只要满足其一都会触发快照操作,注释所有的save项表示关闭RDB'
dbfilename dump.rdb		'//RDB文件名称'
dir /var/lib/redis/6379	'//RDB文件路径'
rdbcompression yes		'//是否进行压缩'

4.2 AOF持久化

  • Redis默认不开启
  • 弥补RDB的不足(数据的不一致性)
  • 采用日志的形式来记录每个写操作,并追加到文件中
  • Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
  • 根据AOF文件恢复数据
    #配置文件选项
[root@localhost ~]# vim /etc/redis/6379.conf
...
appendonly yes					'//开启AOF持久化'
appendfilename "appendonly.aof"			'//AOF文件名称'
#appendfsync always					'//同步持久化,每次发生数据变化会立刻写入磁盘'
appendfsync everysec				'//默认推荐,每秒异步记录一次(默认值)'
#appendfsync no						'//不同步,交给操作系统决定如何同步'
aof-load-truncated yes				'//忽略最后一条可能存在问题的指令'
  • AOF的重写机制
    1. AOF的工作原理是将写操作追加到文件中,文件的冗余内容会越来越多
    2. 当AOF文件的大小超过所设定的阈值时,Redis就会对AOF文件的内容压缩
  • AOF重写的原理
    1. Redis会fork出一条新进程,读取内存中的数据(并没有读取旧文件),并重新写到一个临时文件中,最后替换旧的aof文件
  • AOF的重写配置
    [root@localhost ~]# vim /etc/redis/6379.conf
#在日志进行BGREWRITEAOF时,如果设置为yes表示新写操作不进行同步fsync,只是暂存在缓冲区里,避免造成磁盘IO操作冲突,等重写完成后在写入.Redis中默认为no
no-appendfsync-on-rewrite no
#当前AOF文件大小是上次日志重写时AOF文件大小两倍时,发生BGREWRITEAOF操作
auto-aof-rewrite-percentage 100
#当前AOF文件执行BGREWRITEAOF命令的最小值,避免刚开始启动Redis时由于文件尺寸较小导致频繁的BGREWRITEAOF
auto-aof-rewrite-min-size 64mb

五、Redis性能管理

  • 查看Redis内存使用
    [root@localhost ~]# redis-cli
127.0.0.1:6379> info memory
# Memory
used_memory:853320	
used_memory_human:833.32K					'//内存使用总量'
...
mem_fragmentation_ratio:13.60				'//内存碎片率'
mem_fragmentation_bytes:10238712
mem_not_counted_for_evict:0
mem_replication_backlog:0
mem_clients_slaves:0
mem_clients_normal:49694
mem_aof_buffer:0
mem_allocator:jemalloc-5.1.0
...
  • 内存碎片率
    1. 操作系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出
    2. 内存碎片是由操作低效的分配/回收物理内存导致的
      1. 不连续的物理内存分配
    3. 跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
      1. 内存碎片率稍大于1是合理的,这个值表示内存碎片率比较低
      2. 内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%,其中50%是内存碎片率
      3. 内存碎片率低于1的,说明Redis内存分配超过了物理内存,操作系统正在进行内存交换
  • 内存使用率
    1. redis实例的内存使用率超过可用最大内存,操作系统将开始进行内存与swap空间交换
    2. 避免内存交换
      1. 针对缓存数据大小选择
      2. 尽可能的使用Hash数据结构
      3. 设置key的过期时间
  • 回收key

    1. 保证合理分配redis有限的内存资源

    2. 当达到设置的最大阈值时,需选择一种key的回收策略

      1. 默认情况下回收策略是禁止删除

      2. redis.conf配置文件中修改maxmemory-policy属性值

        1. volatile-lru ===>使用LRU算法从已设置过期时间的数据集合中淘汰数据
        2. volatile-ttl ===>从已设置过期时间的数据集合中挑选即将过期的数据淘汰
        3. volatile-random ===>从已设置过期时间的数据集合中随机挑选数据淘汰
        4. allkeys-lru ===>使用LRU算法从所有数据集合中淘汰数据
        5. allkeys-ransom ===>从数据集合中任意选择数据淘汰
        6. no-enviction ===>禁止淘汰数据
weixin_47153668
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis缓存(CDN，redis安装)
weixin_45697293的博客
03-29 383
文章目录CDNredisredis介绍redis安装windows 安装 redispython 连接方式 CDN 上一章 CDN 主要优势 提前对静态内容进行预缓存，避免大量的请求回源，导致主站网络带宽被打满而导致数据无法更新， CDN 可以将数据根据访问的热度不同而进行不同级别的缓存，例如访问量最高的资源访问 CDN 边缘节点的内存，其次的放在 SSD 或者 SATA，再其次的放在云存储，这样兼顾了速度与成本。缓存-缓存到最快的地方如内存，缓存的数据准确命中率高，访问速度就快 调度准确-将用户调度到最
Redis简介、常用命令及优化
tefuiryy的博客
03-01 3013
Redis简介、常用命令及优化一、关系型数据库与非关系型数据库概述1、关系型数据库2、非关系型数据库二、关系数据库与非关系型数据库区别1、数据储存方式不同2、扩展方式不同3、对事务性的支持不同三、非关系型数据库四、Redis简介1、Redis 优点五、Redis 安装部署 一、关系型数据库与非关系型数据库概述 1、关系型数据库 （1）关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 （2）SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型
缓存加速CDN——Redis配置与优化
m0_47161295的博客
09-08 861
这里写目录标题1. 关系数据库和非关系数据库1.1 关系数据库与非关系型数据库1.1.1 关系型数据库1.1.2 非关系型数据库1.2 非关系型数据库产生背景2. Redis安装部署2.1 Redis简介2.2 操作步骤2.3 编译安装Redis2.4 设置Redis相关配置文件2.5 Redis进程控制2.6 Redis配置文件3. Redis数据库常用命令3.1 redis-cli命令行工具3.2 redis-cli命令行工具3.3 redis-cli命令行工具3.4 key相关命令3.5 redis-
缓存：redis、内存、cdn缓存的使用
u014551778的博客
09-17 821
CDN CDN用于静态资源（包括HTML、CSS、JS、图片等） 静态资源更新策略：路径中带资源版本号: https://xxx.xx/xx/{version}/xxx.js 版本上线前刷新CDN，注意cdn最终地址是否和代码中一致。 内存缓存 用于存放热点数据，比如配置、预置热点数据，如果是可变数据，在对一致性要求不高时使用。 定时任务更新，对于实时性要求不高可采用 订阅通知更新，实时性要求高可采用 需要评估内存资源消耗，和淘汰策略。常用LRU、配合caffeine可以用LFU。 .
redis+lua+nginx打造CDN云加速
12-02 794
exemplo-java-redis：示例性使用NoSQL Redis com Java
02-03
在"exemplo-java-redis-master"这个项目中，我们可以期待看到以下内容： 1. **连接Redis**：展示如何配置和建立Java应用程序与运行中的Redis服务器的连接，包括设置主机名、端口、密码等参数。 2. **基本操作**：...
redis-as-database-advanced:Redis作为NoSQL数据库的高级用法
04-05
Redis，一个高性能的键值数据存储系统，常被用作NoSQL数据库，尤其适用于缓存、消息队列和实时数据操作。本主题将深入探讨Redis作为数据库的高级用法，结合Spring Boot框架，以及Java客户端的高效应用。 一、Redis...
2.NoSQL之Redis配置与优化.doc
07-12
NoSQL 之 Redis 配置与优化 一、关系型数据库与非关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。SQL 语句（标准数据查询语言）就是一种基于关系型...
高并发架构与分布式技术NoSQL--Redis原理剖析
02-24
它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）与范围查询，bitmaps，hyperloglogs和地理空间...
大辉谈-用redis和CDN实现百万并发架构
何辉
11-06 1005
今天准备给大家讲讲我在工作中遇到的困难以及经过各种实践到认知再实践最终实现目标的过程之一: 我是如何思考动静分离架构并最终实现的 先来说说需求, 我之前所在的团队的商业方向是做电商平台saas,类似于有赞和微盟, 电商saas顾名思义, 它是电商+saas,意思就是普通的电商那一套不够,还得加上saas:) 现在不是要双十一了么? 他们都想搞私域的双十一直播,平时的那点流量一下子蹿了十几倍甚至几十倍, 怎么应对? 啊! 动静分离! 团队的研发小伙伴们和问过的朋友以及CEO特意请的顾问都这么说. o..
redis缓存(CDN，redis安装)，nginx优化面试
最新发布
m0_60567881的博客
04-04 738
很多人感叹“学习无用”，实际上之所以产生无用论，是因为自己想要的与自己所学的匹配不上，这也就意味着自己学得远远不够。无论是学习还是工作，都应该有主动性，所以如果拥有大厂梦，那么就要自己努力去实现它。最后祝愿各位身体健康，顺利拿到心仪的offer！由于文章的篇幅有限，所以这次的蚂蚁金服和京东面试题答案整理在了PDF文档里一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
缓存与cdn缓存
Mar.三月
08-05 172
昨天团队被cdn缓存坑了一晚上，这个我还真不懂，有时间我抽空研究下！
获取新概念IndexDB、Redis、CDN、node.js、WebGL
zhaoge's blog
03-12 365
IndexDB的意思是前端的DB Redis的名称是远程字典服务——Remote Dictionary Server，是一种数据结构服务器key-value对数据进行存储 CDN的名称是内容分发网络——Content Delivery Network
BAT三家的CDN情况究竟如何
yueguanyun的专栏
04-18 2473
BAT三家的CDN情况究竟如何 转自：http://it.enorth.com.cn/system/2017/04/14/031727998.shtml 最后简要总结一下BAT三家CDN网络加速的情况：在费用上腾讯云最实用，在加速节点上腾讯云和阿里云都很多，但腾讯云略多一些、总带宽也更高;特色功能三家都有，但腾讯云和阿里云相对较多，而在速度上腾讯云在电信和移动有优势，阿里云在联通有优势
redis缓存(CDN，redis安装)，隔壁都馋哭了
2301_76348206的博客
04-01 606
CDN提前对静态内容进行预缓存，避免大量的请求回源，导致主站网络带宽被打满而导致数据无法更新，CDN 可以将数据根据访问的热度不同而进行不同级别的缓存，例如访问量最高的资源访问，其次的放在，再其次的放在云存储，这样兼顾了速度与成本。缓存-缓存到最快的地方如内存，缓存的数据准确命中率高，访问速度就快调度准确-将用户调度到最近的边缘节点。
快速掌握：大型分布式系统中的缓存架构
Enmotech的博客
07-31 700
关注我们获得更多内容“本文主要介绍大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景。缓存概述缓存概述缓存的分类缓存主要分为四类，如下图：缓存的分类CDN 缓存C...
缓存加速解决：NoSQL之Redis配置与优化
Gengchenchen的博客
02-23 2490
文章目录一、关系数据库与非关系型数据库（一）、关系型数据库（二）、非关系型数据库（三）、关系型数据库和非关系型数据库区别（四）、非关系型数据库产生背景二、Redis简介（一）、Redis 具有以下几个优点三、部署步骤（一）、Redis安装部署（二）、Redis命令工具（三）、redis-cli 命令行工具（四）、redis-benchmark 测试工具（五）、Redis数据库常用命令（六）、Redis 多数据库常用命令四、Redis 高可用五、Redis持久化六、RDB持久化1.触发条件2.执行流程3.启动
Redis 数据库配置
weixin_42419806的博客
06-10 3473
安装：    >>> curl -O http://download.redis.io/releases/redis-3.2.8.tar.gz    >>> tar -zxvf redis-3.2.8.tar.gz    # 进入到解压的文件夹根目录    >>> sudo make install    # 进入到/usr/local/bin...
linux部署redis数据库
dgmhj的博客
02-25 119
部署redis数据库1. 解压redis压缩包并安装gcc环境2. 启动redis，默认启动模式为前端启动3.将redis-6.0.5文件复制两份到当前目录，并各自重命名4．修改每个redis.conf配置文件5.启动所有redis服务6．哨兵sentinel集群安装7.检测是否能够正常使用 redis下载地址 ：redis官网 1. 解压redis压缩包并安装gcc环境 [root@localhost tmp]# tar -zxvf redis-6.0.5.tar.gz -C /usr/local [ro
Redis入门：Key-Value数据库与NoSQL详解
- Redis是NoSQL数据库，它不采用传统的表格结构，而是以键值对的形式存储数据，这与RDBMS（关系数据库管理系统）的行列式存储不同。 - Redis不支持SQL查询语言，但提供了简单易用的命令行接口。 - Redis支持数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值