redis 使用经验总结

最新推荐文章于 2024-07-26 15:45:58 发布
最新推荐文章于 2024-07-26 15:45:58 发布
阅读量469 收藏 2
点赞数
分类专栏： redis 文章标签： redis 大数据量存储 存储结构 内存优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jirsngcng/article/details/79882876
版权
redis 使用经验总结

    ①、定时更新天气网数据文件解析并存储到redis

    ②、通过接口访问形式提供给高德


1、定时更新天气网数据文件解析并存储到redis

  • 下载GridForecast、GridHourly、GridNow、RainMinute四类数据文件   同时在服务器本地备份
date = TqwUtil.formatDate(TqwUtil.parse(date, dateFormat), dateFormat);
//设置当前时间
RedisUtil.set("{" + TqwConstant.GRID_NOW_TIME + "}", date);
 

map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + lonlatString + "}", sb.toString());

//todo 以后删除，3*3 造出 1*1 的数据, 用中心点填充周围
BigDecimal lonBigdecimal = new BigDecimal(lon);
BigDecimal latBigdecimal = new BigDecimal(lat);
BigDecimal lonIncr       = lonBigdecimal.add(new BigDecimal("0.01"));
BigDecimal latIncr       = latBigdecimal.add(new BigDecimal("0.01"));
BigDecimal lonDecr       = lonBigdecimal.subtract(new BigDecimal("0.01"));
BigDecimal latDecr       = latBigdecimal.subtract(new BigDecimal("0.01"));

map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lon, latIncr.toString()) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lon, latDecr.toString()) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonIncr.toString(), lat) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonDecr.toString(), lat) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonIncr.toString(), latIncr.toString()) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonIncr.toString(), latDecr.toString()) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonDecr.toString(), latIncr.toString()) + "}", sb.toString());
map.put("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + TqwUtil.formatLonLatString(lonDecr.toString(), latDecr.toString()) + "}", sb.toString());

if ( map.size() >= DataUtil.object2Int(Constant.PROPERTIES.get("pipeline.count")) ) {
    RedisUtil.setByPipeline(map);
    map.clear();
}
 
通过Redis String数据类型存储，每次存储覆盖上次数据，四类数据均采用此数据类型。尝试使用Hash，但是由于Hash内部存储数据大小有限制，存储信息超过一定大小，内存溢出，不能继续存储，虽然机器内容仍然够用。 

 

  • 将备份文件存储在缓存中，方便备份请求获取数据  空间换时间的概念
 

public File getGridNowFile(String[] arr) {
    logger.info(" grid now start back up !");
    String filename = TqwConstant.BASE_PATH + File.separator + RegexUtil.getRandomString(10) + ".txt";
    //打包文件 数组
    try {
        String         dataFormat   = "yyyyMMddHHmm";
        BufferedWriter bw           = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(filename)));
        String         gridNowStart = RedisUtil.get("{" + TqwConstant.GRID_NOW_TIME + "}");
        DateTime       dateTime     = new DateTime(TqwUtil.parse(gridNowStart, dataFormat));
        bw.write(dateTime.toString("yyyyMMddHH") + "00");
        bw.newLine();
        List<String> keys = new ArrayList<>();
        for ( int i = 0; i < arr.length; i++ ) {
            String[] lonlat    = arr[i].split(",");
            String   lonlatStr = TqwUtil.formatLonLatString(lonlat[0], lonlat[1]);
            keys.add("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + lonlatStr + "}");
            if ( keys.size() >= 10000 ) {
                List<String> values = RedisUtil.getByPipeline(keys, String.class);
                for ( int j = 0; j < values.size(); j++ ) {
                    String value = values.get(j);
                    if ( TqwUtil.isEmpty(value) ) {
                        bw.write("######################################");
                    } else {
                        bw.write(value);
                    }
                    bw.newLine();
                }
                keys.clear();
            }
        }
        if ( keys.size() > 0 ) {
            List<String> values = RedisUtil.getByPipeline(keys, String.class);
            for ( int j = 0; j < values.size(); j++ ) {
                String value = values.get(j);
                if ( TqwUtil.isEmpty(value) ) {
                    bw.write("######################################");
                } else {
                    bw.write(value);
                }
                bw.newLine();
            }
        }
        IOUtils.closeQuietly(bw);
    } catch ( Exception e ) {
        logger.error(" 生成格点实况数据异常 ", e);
        FileUtils.deleteQuietly(new File(filename));
        return null;
    }
    logger.info(" grid now end back up ");
    String zipFilename = TqwConstant.BASE_PATH + File.separator + RegexUtil.getRandomString(10) + ".zip";
    try {
        ZipUtil.zip(zipFilename, "", filename);
        logger.info(" grid now end package ");
    } catch ( Exception e ) {
        logger.error("Grid Now zip error!", e);
    } finally {
        FileUtils.deleteQuietly(new File(filename));
    }
    return new File(zipFilename);
}
 

File zipFile = this.backFileGenerator.getGridNowFile(array);
try {
    ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
    FileUtils.copyFile(zipFile, byteArrayOutputStream);
    TqwRedisUtil.set("{" + TqwConstant.FileBytesKey.NOW_BYTES + "}", byteArrayOutputStream.toByteArray());
    IOUtils.closeQuietly(byteArrayOutputStream);
 

2.高德请求数据
 

根据经纬度数组返回经纬度对应的数据
 

 

public File getGridNowFile(String[] arr) {
    logger.info(" grid now start generate ");
    String filename = TqwConstant.BASE_PATH + "/grid-now-" + RegexUtil.getRandomString(10) + ".txt";
    File   file     = new File(filename);
    try {
        String         dataFormat   = "yyyyMMddHHmm";
        BufferedWriter br           = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file)));
        String         gridNowStart = RedisUtil.get("{" + TqwConstant.GRID_NOW_TIME + "}");
        DateTime       dateTime     = new DateTime(TqwUtil.parse(gridNowStart, dataFormat));
        br.write(dateTime.toString("yyyyMMddHH") + "00");
        br.newLine();
        List<String> requestKeys = new ArrayList<>();
        List<String> keys        = new ArrayList<>();
        for ( int i = 0; i < arr.length; i++ ) {
            String[] lonlat    = arr[i].split(",");
            boolean  isValid = TqwUtil.isValid(lonlat[0], lonlat[1]);
            if ( !isValid ) {
                continue;
            }
            double[] lonLatArray = CoordinateUtil.gcj02ToBd09(Double.valueOf(lonlat[0]), Double.valueOf(lonlat[1]));
            String   lonlatStr   = TqwUtil.formatLonLatString(String.valueOf(lonLatArray[0]), String.valueOf(lonLatArray[1]));
            keys.add("{" + TqwConstant.RedisKeyPrefix.GRID_NOW + lonlatStr + "}");
            requestKeys.add(arr[i] + "_");

            if ( requestKeys.size() >= 10000 ) {
                List<String> values = RedisUtil.getByPipeline(keys, String.class);
                for ( int j = 0; j < values.size(); j++ ) {
                    br.write(requestKeys.get(j));
                    String value = values.get(j);
                    if ( TqwUtil.isEmpty(value) ) {
                        br.write("#########################");
                    } else {
                        br.write(value.substring(0, 25));
                    }
                    br.newLine();
                }
                keys.clear();
                requestKeys.clear();
            }
        }
        if ( requestKeys.size() > 0 ) {
            List<String> values = RedisUtil.getByPipeline(keys, String.class);
            for ( int j = 0; j < values.size(); j++ ) {
                br.write(requestKeys.get(j));
                String value = values.get(j);
                if ( TqwUtil.isEmpty(value) ) {
                    br.write("#########################");
                } else {
                    br.write(value.substring(0, 25));
                }
                br.newLine();
            }
        }
        IOUtils.closeQuietly(br);
    } catch ( Exception e ) {
        logger.error(" 生成格点实况数据异常 ", e);
        FileUtils.deleteQuietly(file);
        return null;
    }
    logger.info(" grid now end generate ");
    String zipFilename = TqwConstant.BASE_PATH + "/grid-now-" + RegexUtil.getRandomString(10) + ".zip";
    try {
        ZipUtil.zip(zipFilename, "", filename);
        logger.info(" grid now end package ");
    } catch ( Exception e ) {
        logger.error("Grid Now zip error!", e);
    } finally {
        FileUtils.deleteQuietly(file);
    }
    return new File(zipFilename);
}
 

总结：
 

 

1、key采用{key}yyyyMMdd 数据格式 目的:在集群环境中,只根据{}中的值计算slot对应的槽值，使同一个分类的key落在相同的slot中，且均匀分布
 

 

2、使用批量操作提高效率时需要注意 原生命令：例如mget、mset。非原生命令：可以使用pipeline提高效率。原生是原子操作，pipeline是非原子操作。
 

3、淘汰策略 在Redis中设置过期时间是35天，当有访问并命中时，对key进行续命，延长过期时间，未在35天出现的自然淘汰。(这个会在下次系统缓存使用时用到)。
 

4、用Bucket的概念将key均匀的分散在hash中（get(key1) -> hget(md5(key1), key1) 从而得到value），让很多key可以在BucketId空间里碰撞，那么可以认为一个BucketId下面挂了多个key。比如平均每个BucketId下面挂10个key，那么理论上我们将会减少超过90%的redis key的个数。
 
 


  一千万的数据使用String类型存储，需要一千万个key，我们可以使用一种算法只会产生十万个数据（key%100000 便会产生100000个Bucket,每个Bucket中存储100个key，达到节约内存效果） 

 

 
 使用Bucket散列时注意事项： 

 

 
 1）kv存储的量级必须事先规划好，浮动的范围大概在桶个数的十到十五倍，比如我就想存储百亿左右的kv，那么最好选择30bit~31bit作为桶的个数。也就是说业务增长在一个合理的范围（10~15倍的增长）是没问题的，如果业务太多倍数的增长，会导致hashset增长过快导致查询时间增加，甚至触发zip-list阈值，导致内存急剧上升。
2）适合短小value，如果value太大或字段太多并不适合，因为这种方式必须要求把value一次性取出，比如人口标签是非常小的编码，甚至只需要3、4个bit（位）就能装下。
3）典型的时间换空间的做法，由于我们的业务场景并不是要求在极高的qps之下，一般每天亿到十亿级别的量，所以合理利用CPU租值，也是十分经济的。
4）由于使用了信息摘要降低了key的大小以及约定长度，所以无法从redis里面random出key。如果需要导出，必须在冷数据中导出。
5）expire需要自己实现，目前的算法很简单，由于只有在写操作时才会增加消耗，所以在写操作时按照一定的比例抽样，用HLEN命中判断是否超过15个entry，超过才将过期的key删除，TTL的时间戳存储在value的前32bit中。
6）桶的消耗统计是需要做的。需要定期清理过期的key，保证redis的查询不会变慢。
 

 

 
 5、减少碎片  碎片主要原因在于内存无法对齐、过期删除后，内存无法重新分配。尽量用相同长度key、value表示，这样可以保证内存对齐 

 

参考链接 :http://www.aboutyun.com/thread-19603-1-1.html

                

        

        

    

  


    

      

        

            

              
                
                  jirsngcng
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Redis 键值设计使用总结

				
			

			

				

					congge_study的博客
				

				

					08-28
					
					4267
					
				

			

		

		

			
				
Redis 键值设计使用总结

			
		

	



                

              
                



	

		

			

				
					
Redis如何在项目中合理使用经验分享

				
			

			

				

					09-09
				

			

		

		

			
				
Redis，全称Remote Dictionary Server，是一款高性能的键值存储系统，尤其适合于处理大量数据的高速访问需求。它以其高效、灵活的数据结构和丰富的功能，成为许多互联网...希望这些经验对你在项目中使用Redis有所帮助。

			
		

	



                


  
              

                


	

		

			

				
					
redis使用总结

				
			

			

				

					08-19
				

			

		

		

			
				
redis使用总结

			
		

	





	

		

			

				
					
Redis 经验谈

				
			

			

				

					weixin_30825199的博客
				

				

					01-14
					
					127
					
				

			

		

		

			
				
新浪作为全世界最大的Redis用户，在开发和运维方面有非常多的经验。本文作者来自新浪，希望能为业界提供一些亲身经历，让大家少走弯路。
使用初衷
从2010年上半年起，我们就开始尝试使用Redis，主要出于以下几方面的考虑。
性能比MySQL好。因为业务的发展对性能的需求越来越强烈。丰富的数据类型。在速度就是市场的互联网时代，快速开发是一个不变的需求。Cache宕机让人纠结，Redis有半持久...

			
		

	



		

			
		



	

		

			

				
					
Redis超详细教程

					
最新发布

				
			

			

				

					m0_74293254的博客
				

				

					07-26
					
					4741
					
				

			

		

		

			
				
字符串（String）：最基本的数据类型，可以存储字符串、整数或者浮点数。哈希表（Hash）：Redis 的哈希表是一个键值对集合，适合存储对象。每个哈希表可以存储多个字段和值之间的映射。列表（List）：双向链表实现的列表，支持在两端插入和删除元素，适合用于实现队列或者栈。集合（Set）：无序集合，可以存储多个不重复的字符串元素，支持集合间的交集、并集和差集等操作。有序集合（Sorted Set）：和普通集合类似，但每个成员都关联了一个分数（score），根据分数排序。

			
		

	





	

		

			

				
					
Redis 使用的一些经验分享

				
			

			

				

					weixin_30824277的博客
				

				

					03-14
					
					90
					
				

			

		

		

			
				
Redis 使用的一些经验分享 


Social Graph 高速接口，当前我们使用 Redis 存储。但在实现的过程中，发现了诸多的问题。
48G 内存的机器上部署了 2 个 Redis 进程，一个 Redis 占用超过 21 G 内存后，在快速写入的过程中同时进行一次 bgsave ，就将机器给弄挂了（微博上的直播）。我们对 Redis 的监控远不如对 Mysql 之类的完善，以至...

			
		

	





	

		

			

				
					
Redis的个人使用经验总结

				
			

			

				

					张俊杰 的博客
				

				

					02-06
					
					4390
					
				

			

		

		

			
				
redis是性能比较好的nosql，这里总结下个人使用的经验总结：
【key命名】
1、全局规划，key值前缀作为命名空间 ： key - value第一级的key值前缀要全局规划好，避免冲突导致互相覆盖。
2、key不要包含空格符，命名不要过长 ： 含有空格容易导致输入错误，命名过长浪费内存空间。
4、key前缀不要出现魔鬼数字，防止硬编码 ： key值前缀应该要清晰明了，容易理解。
【内存】
...

			
		

	





	

		

			

				
					
Redis经验分享

				
			

			

				

					Yi个程序猿的博客
				

				

					01-06
					
					723
					
				

			

		

		

			
				
从大学开始接触csdn平台，已经有7年了。每次遇到困难都会来平台找解决方案，自己也成长了不少，感谢此平台。

一直都是自己默默的关注着，今天很有幸，和大家分享自己的工作中遇到的问题，以及解决方案。希望大家发现不

足的地方多多指正。

今天和大家分享下，我工作中用到的redis的使用场景，和具体的使用切入点。记得当时是做一个同步ERP的功能，
因为对实时性要求比较高，所以必须对现有的

			
		

	





	

		

			

				
					
Redis优化经验总结(必看篇)

				
			

			

				

					01-19
				

			

		

		

			
				
Redis Hash是value内部为一个HashMap，如果该Map的成员数比较少，则会采用类似一维线性的紧凑格式来存储该Map, 即省去了大量指针的内存开销，这个参数控制对应在redis.conf配置文件中下面2项： hash-max-zipmap-...

			
		

	





	

		

			

				
					
10 redis面试题总结经验.pdf

				
			

			

				

					03-06
				

			

		

		

			
				
### 10 Redis面试题总结经验  #### 1. 什么是 Redis？  Redis 是一款开源的、基于内存的键值（Key-Value）存储系统。它提供了丰富的数据结构支持，能够处理大量的读写请求，每秒可处理超过 10 万次的读写操作。由于...

			
		

	





	

		

			

				
					
Redis 的实践经验

				
			

			

				

					qq_42511550的博客
				

				

					10-08
					
					169
					
				

			

		

		

			
				
缩短键值对的存储⻓度；
在 key 不变的情况下，value 值越⼤操作效率越慢，因为 Redis 对于同⼀种数据类
型会使⽤不同的内部编码进⾏存储，⽐如字符串的内部编码就有三种：int（整数编码）、raw（优化内存
分配的字符串编码）、embstr（动态字符串编码），这是因为 Redis 的作者是想通过不同编码实现效率和
空间的平衡，然⽽数据量越⼤使⽤的内部编码就越复杂，⽽越是复杂的内部编码存储的性能就越低。
这还只是写⼊时的速度，当键值对内容较⼤时，还会带来另外⼏个问题：
内容越⼤需要的持久化时间就..

			
		

	





	

		

			

				
					
Redis使用总结

				
			

			

				

					小程故事多
				

				

					03-27
					
					95
					
				

			

		

		

			
				
1、常用内存优化手段与参数
通过我们上面的一些实现上的分析可以看出redis实际上的内存管理成本非常高，即占用了过多的内存，作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省内存，我们分别来讨论下。 首先最重要的一点是不要开启Redis的VM选项，即虚拟内存功能，这个本来是作为Redis存储超出物理内存数据的一种数据在内存与磁盘换入换出的一个持久化策略，但是其内存管理成本也非常的高，...

			
		

	





	

		

			

				
					
Redis使用经验

				
			

			

				

					weixin_30617797的博客
				

				

					01-18
					
					82
					
				

			

		

		

			
				
官方文档：http://redis.io/documentation
三、应用场景
Redis适合存储Key-Value形式的数据，因为是直接内存读写，效率很高，在开发中一般有两种场景使用它。
1.作为缓存使用
把redis作为一个只读的或者读多写少的缓存存储器，目标是提供高速的缓存读写，注重性能而不需要考虑数据是否会丢失的问题，这种情况下可以直接关闭RDB和AOF存储选项，以提高性能。
...

			
		

	





	

		

			

				
					
Redis使用误区与安全策略：避免老大教训

				
			

			

				

					
				

			

		

		

			
				
在IT项目中，正确、高效地使用Redis...总结来说，本文档提供了在项目中合理运用Redis的指导，帮助开发者识别和解决潜在问题，提升应用性能和稳定性。通过结合作者的博客文章，读者可以获得更全面的解决方案和实践经验。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值