Redis Geo地理位置服务计算性能测试

已于 2022-10-14 15:22:35 修改
阅读量1.4k 收藏
点赞数
分类专栏： redis 文章标签： redis
于 2022-10-14 15:16:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36719449/article/details/127318097
版权

Redis Geo地理位置服务计算性能测试

背景

之前和领导交流的时候，探讨过基于redis的LBS服务，当时他表示“redis geo性能很垃圾，自己亲自压测过，只有200多qps”。我对这个测试结果表示怀疑的，200qps太少了，和数据库差不多。

由于不知道他当时是怎么测试的，因此我只能动手自己测试下。

测试对象

基于Geo的服务，通常需要计算两个经纬度之间的距离，本文就围绕这个需求展开进行测试。看看qps能到多少。

思路

  1. 先进行基准测试
  2. 使用jmeter进行Java对象的压测（ps：不压测HTTP接口，是为了排除web服务器的性能影响）

系统&工具版本

  • 操作系统 Ubuntu 22.04 LTS
  • CPU 单CPU，4核心
  • 内存 16G
  • Redis version=6.0.16,
  • openjdk version “1.8.0_342”
  • Linux内核版本 5.15.0-25-generic
  • apache-jmeter-5.5

基准测试

使用JMH，预热3次，重复测试10次,得到QPMS=43.477/ms，即QPS=43477/s

Benchmark                              Mode  Cnt   Score   Error   Units
RedisGeobenchmark.testGeoDistanceCal  thrpt   50  43.477 ± 0.588  ops/ms

package com.evan;

import org.openjdk.jmh.annotations.*;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.RunnerException;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;
import org.openjdk.jmh.util.FileUtils;
import redis.clients.jedis.JedisPooled;
import redis.clients.jedis.args.GeoUnit;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import java.util.Random;
import java.util.concurrent.TimeUnit;

/**
 * redis geo 距离查询基准测试
 */
@BenchmarkMode(Mode.Throughput)
@Warmup(iterations = 3)
@Measurement(iterations = 10, time = 5, timeUnit = TimeUnit.SECONDS)
@Threads(8)
@OutputTimeUnit(TimeUnit.MILLISECONDS)
@State(Scope.Benchmark)
public class RedisGeobenchmark {

    JedisPooled jedis;
    List<String[]> jwdLists = new ArrayList<>(10000);
    Random random = new Random();


    @Setup
    public void prepare() throws IOException {
        double GEO_LAT_MIN = -85.05112878d;
        double GEO_LAT_MAX = 85.05112878d;
        double GEO_LONG_MIN = -180;
        double GEO_LONG_MAX = 180;
        jedis = new JedisPooled("localhost", 6379);
        Collection<String> datas = FileUtils.readAllLines(new File("/home/evan/IdeaProjects/redis-jmh/JWD"));
        for (String data : datas) {
            String[] jwd = data.split(",");
            double lon = Double.parseDouble(jwd[0]);
            double lat = Double.parseDouble(jwd[1]);

            //过滤无效的经纬度
            if (lon < GEO_LONG_MIN || lon > GEO_LONG_MAX ||
                    lat < GEO_LAT_MIN || lat > GEO_LAT_MAX) {
                continue;
            }
            jwdLists.add(jwd);
        }

        System.out.println(jwdLists.size());

    }


    @TearDown
    public void shutdown() {
        jedis.del("dis-cal");
        jedis.close();
    }

    @Benchmark
    public void testGeoDistanceCal() {

        int rand = random.nextInt(Integer.MAX_VALUE);
        int rand2 = random.nextInt(Integer.MAX_VALUE);
        int size = jwdLists.size();
        int i = rand % size;
        int j = rand2 % size;
        jedis.geoadd("dis-cal", Double.parseDouble(jwdLists.get(i)[0]), Double.parseDouble(jwdLists.get(i)[1]), "m" + i);
        jedis.geoadd("dis-cal", Double.parseDouble(jwdLists.get(j)[0]), Double.parseDouble(jwdLists.get(j)[1]), "m" + (j));
        jedis.geodist("dis-cal", "m" + i, "m" + j, GeoUnit.KM);
    }


    public static void main(String[] args) throws RunnerException {
        Options options = new OptionsBuilder()
                .include(RedisGeobenchmark.class.getSimpleName())
                .output("/home/evan/文档/dis-geo压力测试")
                .build();
        new Runner(options).run();
    }

}

JMeter测试

为了排除web容器的影响，因此我采用JMeter Java对象测试方式，我们自定义压力测试类编写业务测试逻辑，主要是实现JMeter的接口，然后打成Jar包，丢到JMeter的lib目录下运行。

import org.apache.jmeter.protocol.java.sampler.AbstractJavaSamplerClient;
import org.apache.jmeter.protocol.java.sampler.JavaSamplerContext;
import org.apache.jmeter.samplers.SampleResult;
import org.openjdk.jmh.util.FileUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.JedisPooled;
import redis.clients.jedis.args.GeoUnit;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import java.util.Random;

/**
 * Geo 压力测试
 */
public class RedisGeoStressTester extends AbstractJavaSamplerClient {

    private static final Logger log = LoggerFactory.getLogger(RedisGeoStressTester.class);

    JedisPooled jedis;

    List<String[]> jwdLists = new ArrayList<>(10000);
    Random random = new Random();

    @Override
    public void setupTest(JavaSamplerContext context) {

        double GEO_LAT_MIN = -85.05112878d;
        double GEO_LAT_MAX = 85.05112878d;
        double GEO_LONG_MIN = -180;
        double GEO_LONG_MAX = 180;
        jedis = new JedisPooled("localhost", 6379);
        Collection<String> datas = null;
        try {
            datas = FileUtils.readAllLines(new File("/home/evan/IdeaProjects/redis-jmh/JWD"));
            for (String data : datas) {
                String[] jwd = data.split(",");
                double lon = Double.parseDouble(jwd[0]);
                double lat = Double.parseDouble(jwd[1]);

                //过滤无效的经纬度
                if (lon < GEO_LONG_MIN || lon > GEO_LONG_MAX ||
                        lat < GEO_LAT_MIN || lat > GEO_LAT_MAX) {
                    continue;
                }
                jwdLists.add(jwd);
            }
        } catch (IOException e) {
            log.error("读取文件失败", e);
        }


        System.out.println("初始化经纬度样本空间：" + jwdLists.size());


        // 初始化jedis连接池
        jedis = new JedisPooled("localhost", 6379);
        System.out.println("jedis连接池初始化成功");

    }

    @Override
    public SampleResult runTest(JavaSamplerContext javaSamplerContext) {
        // 测试结果
        SampleResult sampleResult = new SampleResult();
        sampleResult.setSampleLabel("geo distance");
        sampleResult.sampleStart();
        try {
            int rand = random.nextInt(Integer.MAX_VALUE);
            int rand2 = random.nextInt(Integer.MAX_VALUE);
            int size = jwdLists.size();
            int i = rand % size;
            int j = rand2 % size;
            jedis.geoadd("dis-cal", Double.parseDouble(jwdLists.get(i)[0]), Double.parseDouble(jwdLists.get(i)[1]), "m" + i);
            jedis.geoadd("dis-cal", Double.parseDouble(jwdLists.get(j)[0]), Double.parseDouble(jwdLists.get(j)[1]), "m" + (j));
            Double geodist = jedis.geodist("dis-cal", "m" + i, "m" + j, GeoUnit.KM);
            log.info("[{},{}]- [{}, {}] distance = {} km", jwdLists.get(i)[0], jwdLists.get(i)[1], jwdLists.get(j)[0], jwdLists.get(j)[1], geodist);
            sampleResult.setSuccessful(true);
        } catch (Exception e) {
            log.error("geo distance execute fail");
            sampleResult.setSuccessful(false);
        } finally {
            sampleResult.sampleEnd();
        }

        return sampleResult;
    }

    @Override
    public void teardownTest(JavaSamplerContext context) {
        jedis.del("dis-cal");
        jedis.close();
        System.out.println("jedis连接池关闭");
    }
}

Jmeter测试结果

8线程情况下，QPS= 36544
8线程

在这里插入图片描述

代码

redis-jmh

参考

Java微基准测试框架JMH
JMH官网
jmeter压测
jmeter官网

结论

目前根据我自己的测试结果，redis geo操作应该不会存在什么性能瓶颈的问题，至于前面同事说的200qps，可能测试过程中实物导致的。

Spirits、
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis geo 性能分析及对问题的思考
马艺诚的博客
08-05 2038
redis geo 性能分析及对问题的思考 文章目录redis geo 性能分析及对问题的思考对 redis 进行压力测试对 redis 进行满载压力分析georadiusGenericmembersOfGeoHashBoxgeohashGetDistancedecodeGeohashzmalloc&freeaddReplyDoubleDistanceaddReplyBulkSds总结：redis geo 性能优化方案 (题外话，自己搭建博客没人看，以后还是在 csdn 和自己搭建的博客都发吧，屈服
PostgreSQL-gis Redis-geo BuntDB 性能比拼
马艺诚的博客
08-24 1371
PostgreSQL Redis geo BuntDB 性能比拼 文章目录PostgreSQL Redis geo BuntDB 性能比拼PostgreSQL（pg）搭建pg redis buntdb 性能比较（单条命令时间查询）pg 查询redis 设置 slowlog 并查询时间buntdb 查询使用 wrk 压测比较 Qps首先测试保证 redis&pg 执行后的结果是一致的redispg每次 conn 一个连接进行压测对测试的数据进行加锁压测buntdb 测试基础测试修改源码后测试系统资源
Redis以及Jedis的GEO地图功能
xiangnan10的博客
05-07 9397
Redis以及Jedis的GEO地图功能 引言：redis是一个高性能的非关系型数据库，作为一个单线程的应用程序，速度非常快。并且不存在多线程情况下的共同资源访问锁的问题。PS:太久没有写文章，老脸一红。今日记录一下Redis的地图坐标功能一、Redis介绍Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。在Java开发中，Redis是一款经常使用的Nosql数...
Redis6.2发布 地理位置功能增强了什么？
杨博东的博客
12-21 937
原文地址：https://developer.aliyun.com/article/780257 Redis社区最近刚刚发布Redis6.2 RC1版本，在本次发布中，阿里云Tair团队（阿里云云内存数据库产研团队，负责云上Redis社区版和Redis企业版Tair）为社区贡献了大量高质量代码与功能，其中关于地理位置查询能力的提升上，阿里云贡献了GEOSEARCH和GEOSEARCHSTORE两个重要而强大的API。本文通过分析这两个全新的API，对Redis在地理位置型应用进行深入剖析，并延伸介绍了阿里云
redis：地理位置信息geo
OceanStar的博客
02-19 2682
简介 redis3.2版本提供了GEO(地理信息定位)功能，支持存储地理位置信息。 可以用来实现比如附近位置，摇一摇这类依附于地理位置的功能 GEO功能是 Redis 的另一位作者Matt Stancliff 借鉴 NoSQL 数据库 Ardb 实现的，Ardb 的作者来自中国，它提供了优秀的GEO功能。 命令 geoadd ：添加/更新地理位置的坐标 作用 geoadd 用于存储指定的地理空间位置 可以将一个或多个经度(longitude)、纬度(latitude)、位置名称(member)添加到指
Geoserver入门操作系列之一：发布地图服务
此爱如少年
02-28 2万+
文章目录发布地图服务一、数据准备二、发布图层三、发布图层组四、预览五、发布其它格式的数据源 发布地图服务 在前面大概介绍了下Geoserver地图服务器的安装方法。接下来，我下将花几篇文章，以发布一幅世界地图为例，系统介绍下Geoserver的操作使用。 在本篇，主要介绍发布地图服务 一、数据准备 GIS上说的数据一般分是矢量数据和栅格数据。矢量数据常见的格式有 数据格式 geoserve...
Redis内存优化——Hyperloglog、GEO、Bitmap、Bitfield类型详解
Star_Inori的博客
05-19 857
Redis内存优化 Hyperloglog、GEO、Bitmap、Bitfield类型详解
【Redis GEO】3、地理位置类型的性能优化及使用限制
热门推荐
Asurplus
09-20 3万+
在使用 Redis 的地理位置类型时，为了提高查询性能和降低资源消耗，需要进行一些优化和性能考虑
吞吐量（TPS）、QPS、并发数、响应时间（RT）概念
c851204293的博客
04-22 6920
峰值QPS 原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间。 公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。 机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器 。 每天300w PV 的在单台机器上，这台机器需要多少QPS？ ( 3000000 * 0.8 ) / (86400 * 0.2 )...
Redis GEO
01-19
Redis GEO 主要用于存储地理位置信息，并对存储的信息进行操作，该功能在 Redis 3.2 版本新增。 Redis GEO 操作方法有： geoadd：添加地理位置的坐标。 geopos：获取地理位置的坐标。 geodist：计算两个位置之间的...
Redis 性能测试
12-16
Redis 性能测试 Redis 性能测试是通过同时执行多个命令实现的。 语法 redis 性能测试的基本命令如下： redis-benchmark [option] [option value] 注意：该命令是在 redis 的目录下执行的，而不是 redis 客户端的...
RedisGEO逆地址解析工具java源码
08-21
Redis在Redis 3.2 版本增加了GEO特性，GEO特性为经纬度和地址信息转换提供缓存。如果地址解析或者逆地址解析量比较大，解析服务商一般都有限制，建议本地缓存，同时也可避免同一地址或经纬度反复访问服务获取信息。...
redis-geo:Redis GEO查找最近的美国城市示例
05-28
Redis GEO示例应用程序 Redis GEO是一个简单的示例，展示了如何利用： 现场演示： ： 如果Redis尚未将其巩固为尊敬的Swiss-Army-Knife组件，那么最新的3.2.0版本将使其更加通用，并通过新的功能对其进行增强。 ...
Redis geo操作总结.pdf
06-09
Redis geo 基于地理位置的保存和搜索操作简单总结
redis GEO详细分析和使用
eriz程序之路
07-14 1万+
需求分析： 在美团外卖或者其他软件上都会有显示商家距离你有多少米，这个我们可以利用redis的GEO地理定位计算可以得出，数据库中存放商家的经纬度（坐标），通过geo计算得出距离。 代码已上传至gitHub---->https://github.com/GitHubzcc/redisExample 关于 Redis Geo介绍 1、Redis 的 Geo 是在 3.2 版本才有的 ...
Redis源码剖析之GEO——Redis是如何高效检索地理位置的？
xindoo
06-14 1555
Redis GEO 用做存储地理位置信息，并对存储的信息进行操作。通过geo相关的命令，可以很容易在redis中存储和使用经纬度坐标信息。Redis中提供的Geo命令有如下几个： geoadd：添加经纬度坐标和对应地理位置名称。 geopos：获取地理位置的经纬度坐标。 geodist：计算两个地理位置的距离。 georadius：根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。 georadiusbymember：根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。 geohash：计
Redis三种特殊的数据类型以及性能分析
倔强100%的博客
08-19 794
redis的三种特殊的数据类型 redis内含五种基本的数据类型 字符串（strings） 散列（hashes） 列表（lists） 集合（sets） 有序集合（sorted sets） 除了这五种基本的数据类型以外还为我们提供了一些特殊的数据类型 bitmaps hyperloglogs 地理空间（geospatial） 这些数据类型在日常生活中可以极大地提高便利性和系统性能。 bitmaps bitmaps是redis为我们提供的一种位运算数据类型，内部只存在0和1两种数据，使用场景： 在线
Redis GEO 的java实现（通过Jedis）
阿光的博客
06-22 6049
1，Redis的安装参考：Redis安装 2，Jedis使用2.90版本，maven配置： redis.clients jedis 2.9.0 3，Java代码实现： package com.lairen.admin.controller.platform; import redis.clients.jedis.*; import redis.clients
6、redis新类型-GEO
赞的心路历程
03-28 652
1、Redis之GEO 1.1、简介 移动互联网时代LBS应用越来越多,交友软件中附近的小姐姐、外卖软件中附近的美食店铺、打车软件附近的车辆等等,那这种附近各种形形色色的XXX地址位置选择是如何实现的? 地球上的地理位置是使用二维的经纬度表示,经度范围(-180,180],纬度范围(-90,90],只要我们确定一个点的经纬度就可以确定他在地球的位置。 例如滴滴打车,最直观的操作就是实时记录更新各个车的位置, 然后当我们要找车时,在数据库中查找距离我们(坐标x0,y0)附近公里范围内部的车辆
redisGEO实现地理位置距离
最新发布
09-23
Redis GEO可以实现地理位置距离的计算。通过使用Redis的GEO相关API，我们可以将坐标点添加到Redis中，并通过geodist命令计算两个坐标点之间的距离。具体步骤如下： 1. 使用Redis的GEOADD命令将坐标点添加到指定的key中。可以通过直接初始化或使用Map来添加坐标点。 2. 使用GEODIST命令计算两个坐标点之间的距离。可以指定距离的单位，例如公里（KM）或米（M）。 3. 通过GEOPOS命令获取指定元素的坐标信息。 需要注意的是，为了使用Redis的GEO功能，您需要添加相关的依赖，如jedis，并且确保您的Redis版本在3.2及以上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值