30G 的redis 如何优化

最新推荐文章于 2024-06-23 09:38:23 发布
最新推荐文章于 2024-06-23 09:38:23 发布
阅读量74 收藏
点赞数
文章标签： 数据库 shell awk

突然发现我们的redis 已经用了30G了，好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的，内存已经告竭。幸好上上周公司采购了90G的机器，现在已经零时迁移到其中的一台机器上了。(跑题下，90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器，koding 是个好网站，在线编程IDE。) 但是随着数据量越来越大单机始终无法承受的，改造势在必行。经过初步思考我们得出了很简单的方案 概括起来就是    "内外兼修"

1.内功修炼

先从我们的应用层说起 看看redis 使用情况 ，有没有办法回收一些key ，先进入redis 服务器执行 info ,有删减

   1:  redis 127.0.0.1:6391> info
   2:  used_memory_human:35.58G   
   3:  keyspace_hits:2580207188 
   4:  db0:keys=2706740,expires=1440700

目前我们只使用了1个DB 但是key 太多了 有270W个key,已经过期的有144W。第一个想到的就是我勒个去,怎么会有这么多key ,第二个想法就是可能存在过大的key

看看能不能针对过大的key 做优化？可是遗憾的是官方并没有命令显示db 的key 大小，我们只能自己想办法了

Google 一番，发现国外友人已经写好了shell

传送门: https://gist.github.com/epicserve/5699837

可以列出每个key 大小了。可是这并不适用我们，因为我们key 太大了 执行了9个小时都没跑完，无力吐槽了。 其实还有一个选择就是用另外一个工具

传送门:https://github.com/sripathikrishnan/redis-rdb-tools

可惜这个太重了 ，不想麻烦ops ，我们就只能撩起袖子，造轮子。

把shell 代码简单看了下发件DEBUG OBJECT 是个好东西啊 ，google 下发现官网 http://redis.io/commands/object

已经有简单的调试信息了，剩下的就好处理了

   1: #coding=utf-8
<!--CRLF--> 
   2: import redis
<!--CRLF--> 
   3: 
<!--CRLF--> 
   4: COLOR_RED = "\033[31;49;1m %s \033[31;49;0m"
<!--CRLF--> 
   5: 
<!--CRLF--> 
   6: COLOR_GREED = "\033[32;49;1m %s \033[39;49;0m"
<!--CRLF--> 
   7: 
<!--CRLF--> 
   8: COLOR_YELLOW = "\033[33;49;1m %s \033[33;49;0m"
<!--CRLF--> 
   9: 
<!--CRLF--> 
  10: COLOR_BLUE = "\033[34;49;1m %s \033[34;49;0m"
<!--CRLF--> 
  11: 
<!--CRLF--> 
  12: COLOR_PINK = "\033[35;49;1m %s \033[35;49;0m"
<!--CRLF--> 
  13: 
<!--CRLF--> 
  14: COLOR_GREENBLUE = "\033[36;49;1m %s \033[36;49;0m"
<!--CRLF--> 
  15: 
<!--CRLF--> 
  16: 
<!--CRLF--> 
  17: def getHumanSize(value):
<!--CRLF--> 
  18:     gb = 1024 * 1024 * 1024.0
<!--CRLF--> 
  19:     mb = 1024 * 1024.0
<!--CRLF--> 
  20:     kb = 1024.0
<!--CRLF--> 
  21:     if value >= gb:
<!--CRLF--> 
  22:         return COLOR_RED % (str(round(value / gb, 2)) + " gb")
<!--CRLF--> 
  23:     elif value >= mb:
<!--CRLF--> 
  24:         return COLOR_YELLOW % (str(round(value / mb, 2)) + " mb")
<!--CRLF--> 
  25:     elif value >= kb:
<!--CRLF--> 
  26:         return COLOR_BLUE % (str(round(value / kb, 2)) + " kb")
<!--CRLF--> 
  27:     else:
<!--CRLF--> 
  28:         return COLOR_GREED % (str(value) + "b")
<!--CRLF--> 
  29: 
<!--CRLF--> 
  30: 
<!--CRLF--> 
  31: month = 3600 * 24 * 30
<!--CRLF--> 
  32: result = []
<!--CRLF--> 
  33: client = redis.Redis(host="XXXXX", port=XXXX)
<!--CRLF--> <!--CRLF--> 
 <!--CRLF--> 
    
  36: client.info()
 <!--CRLF--> 
    
  37:  
 <!--CRLF--> 
    
  38: count = 0
 <!--CRLF--> 
    
  39: for key in client.keys('*'):
 <!--CRLF--> 
    
  40:     try:
 <!--CRLF--> 
    
  41:         count += 1
 <!--CRLF--> 
    
  42:         idleTime = client.object('idletime', key)
 <!--CRLF--> 
    
  43:         refcount = client.object('refcount', key)
 <!--CRLF--> 
    
  44:         length = client.debug_object(key)['serializedlength']
 <!--CRLF--> 
    
  45:         value = idleTime * refcount
 <!--CRLF--> 
    
  46:         print "%s key :%s , idletime : %s,refcount :%s, length : %s , humSize  :%s" % (count, key, idleTime, refcount, length, getHumanSize(length))
 <!--CRLF--> 
    
  47:     except Exception:
 <!--CRLF--> 
    
  48:         pass
 <!--CRLF--> 
   
 
  
 
  
写了个简单的python 脚本输出每个key 的大小和idle time,和refer count 。有了这么多数据结合awk 就可以很好的统计每个key 的使用情况。有一点要注意的是这个size 是key 在redis 中的大小，并非实际的大小，这个是经过redis 压缩的。经过分析之后发现不存在过大的key ,但是存在有些key 半年都没有被访问过 Orz 。
 
  
接下来就很好处理了,我们为每个key 设置的过期时间,若key 被hit 上则更新这个expire time 。这样可以逐步淘汰冷数据，达到冷热分离
 
  
 
 
  
2. 外功修炼
 
  
 
   
我们对内清理了无效的key，对外我们要做到水平扩展，单机的承载始终有限，于是我们开始了传说中的分布式改造
 
  
 
  
分布式这东西看起来很唬人做起来更唬人，幸好我们是缓存服务 CAP约束有限。 缓存服务做分布式最好的当然是一致性hash 咯。其实当我们改造完成之后，才发现官方已经准备做这个分布式的缓存体系了（流口水啊） 只是现在还在开发中 给了个备用的响当当的  Twemproxy  奈何我们已经做好了，就先用着，坐等官方测试之后再说
 
  
传送门： http://redis.io/topics/cluster-spec
 
  
我们实现了数据的平滑迁移，而且对server 的修改实现了最小影响。 因为原来是用的是phpredis 所以就扩展了下，代码可以平滑过渡。
 
  
我们自己的实现：https://github.com/trigged/redis_con_hash
 
  
其实扯了这么多就是要把redis 的数据分散开，单机的承载始终是个瓶颈，但是redis 在这方面没有Memcached 完善，不过以后会越来越好
 
 
 


                

        

        




    

  


    

      

        

            

              
                
                  iteye_706
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Redis优化

				
			

			

				

					殇的不悔
				

				

					11-23
					
					383
					
				

			

		

		

			
				
防止恶意用户，恶意攻击 ： 一分钟调用下单超过50次 ，加入临时黑名单 ，10分钟后才可继续操作，，所有请求可能超时，超时的越来越多，当新的请求越来越多，造成 redis 连接池资源耗尽。来等待服务端响应，数据在被客户端读取前，数据是存放在客户端缓存区。的时候，或者是进行网络通信的时候，都会跟这个参数有关系。比如前多少条数据，评论也可以存，因为本身是个集合。发送一组请求命令给服务端，然后等待服务端的响应。保证库存安全，满足高并发处理，但相对复杂。吞吐量降低----> 开启。是个原子操作，也可以使用。

			
		

	



                

            
              



	

		

			

				
					
【Redis】Redis是如何优化内存的？（过期键、淘汰、扩容、对象自动释放）

				
			

			

				

					火火的博客
				

				

					12-03
					
					1811
					
				

			

		

		

			
				
文章目录前言一、过期键删除注意二、内存淘汰策略1、全局的键空间选择性移除2、设置过期时间的键空间选择性移除三、良好的数据结构节省内存1、整数集合的存储空间扩容2、哈希表存储对象3、哈希表的灵活扩、缩容
前言
一说到优化内存，再结合Redis的本身特性——基于内存的操作，我感觉有很多东西都可以说啊，比如说：

比如redis内存满了怎么办？这涉及到过期键的删除策略

一、过期键删除
Redis是key-value数据库，可以设置key的过期时间，来及时释放内存，否则可能会导致写命令返回错误信息等问题。
过期策

			
		

	



              


  
              

                


	

		

			

				
					
Redis学习手册(内存优化)

				
			

			

				

					hujiao_jingling的专栏
				

				

					05-15
					
					584
					
				

			

		

		

			
				
一、特殊编码：

    自从Redis 2.2之后，很多数据类型都可以通过特殊编码的方式来进行存储空间的优化。其中，Hash、List和由Integer组成的Sets都可以通过该方式来优化存储结构，以便占用更少的空间，在有些情况下，可以省去9/10的空间。
    这些特殊编码对于Redis的使用而言是完全透明的，事实上，它只是CPU和内存之间的一个交易而言。如果内存使用率方面高一些，那么

			
		

	





	

		

			

				
					
Redis 内存优化

				
			

			

				

					任何技能都是从模仿开始，逐步升华。
				

				

					04-05
					
					2749
					
				

			

		

		

			
				
redis实际上的内存管理成本非常高，即占用了过多的内存，作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省内存....

			
		

	



		

			
		



	

		

			

				
					
Redis内存优化

				
			

			

				

					Java添砖的博客
				

				

					03-07
					
					266
					
				

			

		

		

			
				
文章目录redisObject对象缩减键值对对象共享对象池字符串优化字符串结构预分配机制编码优化控制键的梳理参考文章：
redisObject对象

Redis储存的数据都是使用redisObject对象封装的， 包括String，list, hash, set, zset在内的所有数据类型。以下是对每个字段的详细说明：

type: 当前对象使用的数据类型，Redis主要支持5中数据类型：string, hash, list, set, zset。 可以使用type {key} 查看对象所属类型

# s

			
		

	





	

		

			

				
					
新浪微博Redis优化实战：从30G到百亿级数据的蜕变

				
			

			

				

					
				

			

		

		

			
				
随着数据量的爆炸式增长（Graph mc达到30G+，计数器mc达到10wTPS），MySQL的性能逐渐成为瓶颈，导致线程阻塞和访问速度下降。   2. **Redis存储架构**:  - 初期阶段，为应对高TPS（每秒事务处理数）的需求，尝试通过...

			
		

	





	

		

			

				
					
Redis——redis配置与优化

				
			

			

				

					ML908的博客
				

				

					03-24
					
					1257
					
				

			

		

		

			
				
文章目录一、关系数据库与非关系型数据库1、关系型数据库2、非关系型数据库二、 Redis 简介1、Redis的应用场景2、Redis的优点三、Redis 安装部署1、安装Redis2、配置参数四、Redis 命令工具1． redis-cli 命令行工具2、redis-benchmark 测试工具五、Redis 数据库常用命令1、key 相关命令2． 多数据库常用命令六、Redis持久化1、持久化概...

			
		

	





	

		

			

				
					
Redis hash数据存储空间优化

				
			

			

				

					01-20
				

			

		

		

			
				
最近遇到一个需求，需要将hive中16亿行数据存储到redis中。数据存储采用hash结构，将16亿行数据根据key离散到32万个hash中。 由于每一行的key是16个字节，数据为1个字节，一开始在预估存储空间为：16亿*(16+1) = 26 ...

			
		

	





	

		

			

				
					
Linux 系统 安装redis redis-5.0.1.tar.gz 安装包

				
			

			

				

					03-28
				

			

		

		

			
				
 sed -i 's/# port 6379/port 6380/g' redis.conf  ```  6. **启动Redis**：  编译并配置好后，你可以使用以下命令启动Redis服务：  ```bash  src/redis-server ./redis.conf  ```  如果一切正常，Redis会在后台运行...

			
		

	





	

		

			

				
					
Redis的内存优化

				
			

			

				

					勿忘初心
				

				

					02-26
					
					1803
					
				

			

		

		

			
				
如转载自《Redis开发与运维》一书第八章

Redis所有的数据都在内存中，而内存又是非常宝贵的资源。对于如何优化内存使用一直是Redis用户非常关注的问题。本文让我们深入到Redis细节中，学习内存优化的技巧。分为如下几个部分：

一. redisObject对象
二. 缩减键值对象
三. 共享对象池
四. 字符串优化
五. 编码优化
六. 控制key的数量



一. redisObject...

			
		

	





	

		

			

				
					
Redis之内存优化

				
			

			

				

					qq_41043556的博客
				

				

					05-06
					
					595
					
				

			

		

		

			
				
Redis内存优化
Redis 手动清理Key
可以通过手动清理长时间不用的Key来减少Redis内存占用, 通过命令object idletime获取从上一次使用到现在间隔的时间. 但是如果很多Key共用同一个对象(如很多时候为了标识数据是否存在就会把value设置为1,实际上底层都是指向同一个对象),这时候多对key-value就会相互影响导致idletime返回时间不准确.

...

			
		

	





	

		

			

				
					
Redis 内存优化方式

				
			

			

				

					asing1elife's blog
				

				

					09-28
					
					2521
					
				

			

		

		

			
				

Redis 内存优化是对数据类型做一些参数上的优化

内存优化方式与参数

关闭 Redis 的虚拟内存[VM]功能，即 redis.conf 中 vm-enabled = no
设置 redis.conf 中 maxmemory ，用于告知 Redis 当使用了多少物理内存后拒绝继续写入的请求，可防止 Redis 性能降低甚至崩溃
可为指定的数据类型设置内存使用规则，从而提高对应数据类型的内存...

			
		

	





	

		

			

				
					
【redis】内存优化方案

				
			

			

				

					qq_21387121的博客
				

				

					05-16
					
					2559
					
				

			

		

		

			
				
1、缩减key和value的长度。key尽量简写如s:a:id。value不存储不需要数据。

2、开启共享内存池，纯数字数据可以公用内存。但是无法使用过lru的内存淘汰策略

3、如果编辑数据长度变化较大，尽量删除后重新存储。因为redis的预分配机制，追加操作，将会预留更大的存储空间。

4、尽量使用复杂度更低的编码方式，编码方式不可逆。如果数据变简单，情况允许，可以重新创建。

5、控制hash中键的数量。数量最好不要超过1000。因为ziplist编码，超过1000后，cpu消耗增加
...

			
		

	





	

		

			

				
					
redis如何做内存优化

					
最新发布

				
			

			

				

					DKPT的博客
				

				

					06-23
					
					484
					
				

			

		

		

			
				
例如，如果你需要存储一组唯一的用户ID，你可以将这些信息合并到一个大的哈希表中，而不是为每个用户创建单独的哈希表，以减少固定开销。3、对于复制积压缓冲区（v2.8之后提供的一个可重用的固定大小缓冲区），合理配置repl-backlog-size参数，以避免全量复制。这可以减小每个实例的内存需求，特别是在大规模部署时。如果你使用了Redis的持久化机制，考虑使用RDB快照来定期将内存中的数据快照到磁盘，以便在需要时进行恢复。例如，存储用户的年龄信息时，将年龄存储为整数值而不是字符串，可以节省内存。

			
		

	





	

		

			

				
					
Redis 如何做内存优化？

				
			

			

				

					MRZHQ的博客
				

				

					02-21
					
					2070
					
				

			

		

		

			
				
在使用时需要根据实际情况选择合适的持久化策略，并设置合理的频率，避免频繁保存占用内存。合理设置过期时间：在使用Redis时，可以设置键值对的过期时间，当过期时间到达后，Redis会自动删除对应的键值对，释放内存空间。使用内存碎片整理工具：Redis在使用过程中会产生内存碎片，导致内存使用效率降低。可以使用Redis提供的内存碎片整理工具来整理内存碎片，提高内存使用效率。总之，Redis的内存优化需要综合考虑多个因素，包括数据结构、过期时间、持久化策略、内存策略等。

			
		

	





	

		

			

				
					
​​​​​​​Redis如何做内存优化

				
			

			

				

					荣山的博客
				

				

					12-18
					
					520
					
				

			

		

		

			
				
Redis如何做内存优化

			
		

	





	

		

			

				
					
Redis如何做内存优化？

					
热门推荐

				
			

			

				

					inet_ygssoftware的博客
				

				

					05-24
					
					15万+
					
				

			

		

		

			
				
尽可能使用散列表（hashes），散列表（是说散列表里面存储的数少）使用的内存非常小，所以你应该尽可能的将你的数据模型抽象到一个散列表里面。
比如你的web系统中有一个用户对象，不要为这个用户的名称，姓氏，邮箱，密码设置单独的key,而是应该把这个用户的所有信息存储到一张散列表里面。

...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值