ElasticSearch是真滴香—附带一份ES取代InfluxDB的测试性能报告

最新推荐文章于 2024-02-29 10:13:20 发布
最新推荐文章于 2024-02-29 10:13:20 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 砍柴日记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39905910/article/details/107506377
版权

Version

kibana-7.4.0
elasticsearch-7.4.0

Start

启动ES成功校验 http://127.0.0.1:9200/

{
  "name": "DESKTOP-AANKMQ7",
  "cluster_name": "elasticsearch",
  "cluster_uuid": "Gh9mhXcpR-eQsU-QLQVaZw",
  "version": {
    "number": "7.8.0",
    "build_flavor": "default",
    "build_type": "zip",
    "build_hash": "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date": "2020-06-14T19:35:50.234439Z",
    "build_snapshot": false,
    "lucene_version": "8.5.1",
    "minimum_wire_compatibility_version": "6.8.0",
    "minimum_index_compatibility_version": "6.0.0-beta1"
  },
  "tagline": "You Know, for Search"
}

You Know, for Search

启动Kibana
访问地址 http://localhost:5601/

核心概念

ElasticSearchMySql
Index 索引Database 数据库
Type 类型（6.0版本之后一个index下只能有一个，7.0之后取消了Type，默认_doc）Table 表
Document 文档（JSON格式）Row（数据行）
Field 字段Column 数据列
Mapping映射Schema 约束

数据类型

字符串型：text(分词) keyword(不分词)
数值型：long integer short byte double float half_float scaled_float
日期类型：date
布尔类型：boolean
二进制类型：binary
范围类型：integer_range float_range long_range date_range

数组类型：array
对象类型：object
嵌套类型：nested object

IK分词器
ik_smart：最少切分
ik_max_word：最细粒度切分

接口测试

分词

GET _analyze
{
  "text": ["中国共产党"]
}

{
  "tokens" : [
    {
      "token" : "中",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "国",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "共",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "产",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "党",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

Rest风格接口列表

methodurl描述
PUT/索引名称/类型名称/文档id创建文档（指定文档id）
POST/索引名称/类型名称创建文档（随机文档id）
POST/索引名称/类型名称/文档id/_update修改文档
DELETE/索引名称/类型名称/文档id删除文档
GET/索引名称/类型名称/文档id查询文档根据文档id
POST/索引名称/类型名称/_search查询所有文档

1.创建索引

PUT /dashuai_index/_doc/10
{
  "name": "大帅",
  "age": 100
}

{
  "_index" : "dashuai_index",
  "_type" : "_doc",
  "_id" : "10",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 20,
  "_primary_term" : 11
}

//索引库信息
GET /dashuai_index
//es所有索引库的状态
GET _cat/indices?v

2.更新文档
2.1 直接覆盖

PUT /dashuai_index/_doc/10
{
  "name": "大帅"
}

{
  "_index" : "dashuai_index",
  "_type" : "_doc",
  "_id" : "10",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 21,
  "_primary_term" : 11
}

弊端：必须携带所有字段，否则不携带会直接丢失

2.2 只修改传入的字段

POST /dashuai_index/_update/10/
{
  "doc":{
    "name": "大帅111"
  }
}

3.删除文档

DELETE /dashuai_index/_doc/10

替换influxDB的性能报告

一次性能优化：
底层数据库的替换
功能：对大数据量的Metrics进行【时间】【商品id】【指标项】等维度的聚合运算
目的：优化查询速度
前提：用户15天导入的数据量 538,101（约50W+），group by 所在列的数据大约3w+
优化前症状：
计算查询耗时：30051ms
插入结果集耗时：4s左右
总耗时：33707ms
在这里插入图片描述
在这里插入图片描述
接口共耗时36s，若在线上访问直接被nginx 30s限制拦截报超时

优化后效果：
在这里插入图片描述
es计算查询耗时6s左右
在这里插入图片描述

接口响应7s左右
优化前influxDB核心代码
逻辑：计算数据并插入influxDB

@Override
public void computeAndSaveItemDataValueCount(Long shopId, Date startDate, Date endDate, String deviceCode) {
    long queryStart = System.currentTimeMillis();
    InfluxDB influxDB = influxDBFactory.getInfluxDB();
    String influxQL = "select sum(item_data_value) as item_data_value_count "
            + "from item_data_value_" + shopId + " "
            + "where function='sum' "
            + "and time >= '" + TimeUtil.toInfluxDBTimeFormat(startDate.getTime()) + "' "
            + "and time <= '" + TimeUtil.toInfluxDBTimeFormat(endDate.getTime()) + "' "
            + "and (device_code = '" + deviceCode + "' OR device_code = 'common') "
            + "group by item_id,index_code,device_code "
            + ";"
            + "select mean(item_data_value) as item_data_value_count "
            + "from item_data_value_" + shopId + " "
            + "where function='avg' "
            + "and time >= '" + TimeUtil.toInfluxDBTimeFormat(startDate.getTime()) + "' "
            + "and time <= '" + TimeUtil.toInfluxDBTimeFormat(endDate.getTime()) + "' "
            + "and (device_code = '" + deviceCode + "' OR device_code = 'common') "
            + "group by item_id,index_code,device_code ";
    log.info("influxQL:{}", influxQL);
    Query query = new Query(influxQL, influxDBFactory.getDatabase());
    QueryResult queryResult = influxDB.query(query);
    List<QueryResult.Result> results = queryResult.getResults();
    log.info("开始插入查询统计结果集");
    long start = System.currentTimeMillis();
    System.out.println("查询耗时："+(start-queryStart));
    //开启批量功能
    influxDB.setRetentionPolicy(InfluxDBFactory.itemDataValueCountRp)
            .enableBatch(10000, 10000, TimeUnit.MILLISECONDS);
    for (QueryResult.Result result : results) {
        List<QueryResult.Series> series = result.getSeries();
        if (series == null || series.size() == 0) {
            continue;
        }
        /*BatchPoints batchPoints = BatchPoints.database(influxDBFactory.getDatabase())
                .retentionPolicy(InfluxDBFactory.itemDataValueCountRp)//带上保留策略配合食用，风味更佳
                .build();*/
        series.forEach(new Consumer<QueryResult.Series>() {
            @Override
            public void accept(QueryResult.Series series) {
                //获取series
                Map<String, String> tags = series.getTags();
                //String deviceCode = tags.get("device_code");
                String indexCode = tags.get("index_code");
                String itemId = tags.get("item_id");
                List<List<Object>> values = series.getValues();
                BigDecimal value = new BigDecimal(values.get(0).get(1).toString());
                //构造point
                String startDateStr = DateFormatUtils.format(startDate, "yyyyMMdd");
                String endDateStr = DateFormatUtils.format(endDate, "yyyyMMdd");
                Point point = Point.measurement("item_data_value_count_" + shopId + "_" + startDateStr + "_" + endDateStr)
                        .time(System.currentTimeMillis(), TimeUnit.MILLISECONDS)
                        .tag("item_id", itemId)
                        .tag("index_code", indexCode)
                        .tag("device_code", deviceCode)
                        .addField("item_data_value_count", value)
                        .build();
                //batchPoints.point(point);
                influxDB.write(point);
            }
        });
        /*boolean batchEnabled = influxDB.isBatchEnabled();
        System.out.println(batchEnabled);*/

    }
    influxDB.close();
    log.info("插入结束->耗时：{}ms", System.currentTimeMillis() - start);
}

优化后ES相关代码

@Override
public List<ItemDataValueCountDO> computeAndSaveItemDataValueCount(Long shopId,
                                                                   Date startDate,
                                                                   Date endDate,
                                                                   String deviceCode,
                                                                   String function) {
    SearchRequest request = new SearchRequest("workbei_ec_engine");
    //搜索条件
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    //分页
    searchSourceBuilder.from(0);
    searchSourceBuilder.size(0);
    //日期范围
    RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("count_date")
            .from(startDate.getTime()).to(endDate.getTime());
    //设备类型
    BoolQueryBuilder boolQueryBuilder1 = QueryBuilders.boolQuery()
            .should(QueryBuilders.termQuery("device_code", deviceCode))
            .should(QueryBuilders.termQuery("device_code", "common"));
    //函数sum
    TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("function.keyword", function);
    //查询条件
    BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
            .must(rangeQueryBuilder)//日期范围
            .must(boolQueryBuilder1)//设备类型
            .must(termQueryBuilder);//函数
    //聚合
    Script script = new Script("doc['item_id'].value+'_'+doc['index_code.keyword'].value");
    TermsAggregationBuilder termsAggregationBuilder = AggregationBuilders
            .terms("id_code_group").script(script).size(2147483647)
            //.collectMode(Aggregator.SubAggCollectionMode.BREADTH_FIRST)
            .subAggregation(AggregationBuilders.sum("item_data_value_count").field("item_data_value"));
    searchSourceBuilder.query(boolQueryBuilder);
    searchSourceBuilder.aggregation(termsAggregationBuilder);
    searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
    request.source(searchSourceBuilder);

    SearchResponse searchResponse;
    try {
        searchResponse = client.search(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        throw new InternalServerException();
    }
    Map<String, Aggregation> asMap = searchResponse.getAggregations().getAsMap();
    ParsedStringTerms idCodeGroup = (ParsedStringTerms) asMap.get("id_code_group");
    List<? extends Terms.Bucket> buckets = idCodeGroup.getBuckets();
    List<ItemDataValueCountDO> itemDataValueCountDOList =
            buckets.stream().map(new Function<Terms.Bucket, ItemDataValueCountDO>() {
                @Override
                public ItemDataValueCountDO apply(Terms.Bucket bucket) {
                    //key
                    String keyAsString = bucket.getKeyAsString();
                    String[] split = StringUtils.split(keyAsString, "_");
                    String id = split[0];
                    String indexCode = split[1];
                    //value
                    ParsedSum itemDataValueCount = bucket.getAggregations().get("item_data_value_count");
                    double value = itemDataValueCount.getValue();
                    ItemDataValueCountDO itemDataValueCountDO = new ItemDataValueCountDO();
                    itemDataValueCountDO.setItemId(Long.parseLong(id));
                    itemDataValueCountDO.setIndexCode(indexCode);
                    itemDataValueCountDO.setItemDataValue(new BigDecimal(value));
                    itemDataValueCountDO.setCountStartDate(startDate);
                    itemDataValueCountDO.setCountEndDate(endDate);
                    itemDataValueCountDO.setDeviceCode(deviceCode);
                    return itemDataValueCountDO;
                }
            }).collect(Collectors.toList());
    //TODO 存入redis
    return itemDataValueCountDOList;
}

公众号：不定期更新文章
在这里插入图片描述

金陵砍柴人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch权威指南-搜索测试用例
07-29
此资源因需自备梯子比较难下载，现分享出来 Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合： Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索。 这个文件是书籍里面提到的测试用例，提供给大家
Elasticsearch进阶（一）写入性能基准测试写入性能优化
03-01
进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为：从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同ip12中数据与ip10中数据不同，但是data1与data2数据相同ip13数据与ip12相同ip11既不是master候选者，也不是data节点，验证发现确实无数据分配多个分片和副本是分布式搜索功能设计的精髓系统：macOS10.13.4处理器：2.3GhzInterCorei5内存：8GB2133MHzLPDDR3SSDs注：jamesjxin在博客中说到：确保
一文读懂InfluxDB和Elasticsearch的区别是什么（适合小白）
最新发布
liwenxiang629的博客
02-29 284
InfluxDB和Elasticsearch都是强大的数据存储和分析工具，但它们在数据模型、查询语言、存储和压缩、实时性、扩展性和容错性以及应用场景等方面存在显著差异。根据具体需求，我们可以对二者进行选择。如果需求主要处理时间序列数据，并且需要高效的实时分析和监控，InfluxDB可能是一个更好的选择。如果主要需求是进行全文搜索、结构化数据分析，那么则选择Elasticsearch。
ElasticSearch官方测试数据
09-14
ElasticSearch官方测试数据
elasticsearch 性能测试
08-06
NULL 博文链接：https://mitchz.iteye.com/blog/2085365
es-test:Elasticsearch单节点性能测试
05-25
Elasticsearch尺寸测试 方法 生成以下格式的平面文件或随机日志信息 [source IP address] [yyyymmddHHMMss] GET http://[random uuid]/[random uuid]/[random uuid]/[random uuid] 0 TCP_MISS/200 - [target IP address] - 0 为源IP和目标IP地址生成随机IP地址 时间戳是从当前时间得出的 网址包含4个随机UUID 随机化以确保索引重用和/或压缩的机会最小 测试结果 100,000k记录在64ms内返回的集中搜索单个随机值 1m条记录在83ms内返回的集合中搜索单个随机值 100m记录在176ms返回的集合中搜索单个随机值 1b记录了在12,672ms（12.6秒）内返回的集合中搜索单个随机值的记录 尺寸 100m记录= 6.6GB单节点，创建
ES VS influxdb
xusanyao的博客
05-27 1783
简介 最近一直在使用ES，之前也使用过influxdb。使用过程中两者在某些功能上有些类似。所以这里对两者一些区别和功能进行整理。已更好了解这两者工具。 ES和influxdb介绍 ES 是一个基于lucence的实时搜索服务器，本身是一个应用。 没有UI管理界面。 支持restful格式http接口来操作和展示界面，数据展示依靠Kibana。 influxdb 开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。 自带管理界面，界面自带简单的图表
InfluxDB 与 Elasticsearch 的时间序列数据和指标基准
IccBoY_超越
12-03 172
在过去的几周里，我们开始比较 InfluxDB 和 Elasticsearch 在时间序列工作负载方面的性能和功能，特别关注数据摄取率、磁盘数据压缩和查询性能。然而，对于那些寻找有效起点的技术将提供更好的“开箱即用”时间序列数据摄取、压缩和查询性能的人来说，InfluxDB 在所有这些维度上都是明显的赢家，特别是当数据集变得更大，系统运行的时间更长。我们的首要目标是创建一致的、最新的比较，反映 InfluxDB 和 Elasticsearch 的最新发展以及后来对其他数据库和时间序列解决方案的报道。
Elasticsearch查询——Profile API（性能分析）
热门推荐
大风的博客
12-22 1万+
Profile API 性能分析 平时开发的过程中我们可能需要对一些查询操作进行优化，而优化之前的工作就是要对操作的性能进行分析，而ES提供了Profile API来帮助用户进行性能分析。它让用户了解如何在较低的级别执行搜索请求，这样用户就可以理解为什么某些请求比较慢，并采取措施改进它们。 需要注意的是Profile API不测量网络延迟、搜索资源获取阶段、请求在队列中花费的时间或在协调节点上合并...
为什么腾讯QQ的大数据平台选择了这款数据库？
大数据
05-17 2628
导读：本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。作者：韩健来源：大数据DT（ID：hzdashuju）00为什么QQ要选择InfluxDB？从2016年起，笔者...
Streamsets组件详解
叁木大数据
08-04 4306
Streamsets优化详解一、Origin类组件详解二、Processor类组件详解三、Destination类组件详解四、Executor类组件使用详解 一、Origin类组件详解 Amazon S3 Amazon SQS Consumer Azure Data Lake Storage Gen1 Azure Data Lake Storage Gen2 Azure IoT/Event Hub Consumer CoAP Server Cron Scheduler // 任务调度组件，用于调度数据流 D
干货 | 携程监控系统Hickwall演进之路
携程技术
02-17 1986
作者简介大伟，携程软件技术专家，关注企业级监控，日志，可观测性领域。一、背景监控领域有三大块，分别是Metrics，Tracing，Logging。这三者作为IT可观测性数据的三剑客，基...
观测云与 TDengine 达成深度合作，优化企业上云体验
涛思数据
06-30 334
云时代的系统可观测平台观测云与物联网大数据解决方案商涛思数据达成深度战略合作，依靠国产时序数据库 TDengine 的技术和性能优势，观测云将进一步满足云、云原生、应用及业务上的监测需求，从基础设施到日志数据再到全链路应用性能实现全面主动观测，让企业在上云体验上更加顺滑。...
ES 替换时序数据库
lcfchan的博客
03-19 1218
• 需求 需求是这样的：提供一个后台，选用户画像标签（多选），点确认后弹出“选出了xxx个用户”，再继续点就把用户dump出来、推送消息。现在要做这个后台的数据仓库层。 详细分析一下需求： 我们的用户画像走流式计算，每秒大量更新，所以 对插入/更新性能要求很高。 查询条件翻译成SQL就是类似 select count(*) from table where (tags like ‘%tag1%’) and (tags like ‘%tag2%’) and (tags like ‘%tag3%’) a
Elasticsearch性能优化实践
不见其长，日有所长
02-26 1538
1. 前言 Elasticsearch是一款流行的分布式开源搜索和数据分析引擎，具备高性能、易扩展、容错性强等特点。它强化了Apache Lucene的搜索能力，把掌控海量数据索引和查询的方式提升到一个新的层次。本文结合开源社区和阿里云平台的实践经验，探讨如何调优Elasticsearch的性能提高索引和查询吞吐量。 2. Elasticsearch部署建议 2.1 选择合理的硬件配置，尽可能使用...
测试报告丨DolphinDB与Elasticserach在金融数据集上的性能对比测试
DolphinDB智臾科技
03-30 809
Elasticsearch是一款非常流行的日志检索和分析工具，尤其在实时性、扩展性、易用性和全文检索方面有着非常优异的综合表现。知乎上有一篇文章，Golion：降维打击！使用ElasticSearch作为时序数据库，并且取得了非常不错的效果。很多知乎用户不禁询问，Elasticsearch是否可以用于海量金融数据的存储和分析？ 为此我们对DolphinDB和Elasticsearch在不同规模的金融数据集做了综合的对比测试。测试的内容包括I/O，磁盘空间占用，内存消耗，数据库查询（过滤查询和分组统计）4大
服务攻防-数据库安全-Influxdb&H2database&CouchDB&ElasticSearch数据库漏洞复现
ran的博客
05-07 2069
默认端口：InfluxDB 是一个开源的时间序列数据库，旨在处理大规模数据处理和分析的高写入和查询负载。它针对实时存储和查询大量时间戳数据进行了优化。InfluxDB 提供了一种类似 SQL 的查询语言称为 InfluxQL，允许用户从数据库中检索和操作数据。它还支持各种客户端库和插件，以与其他数据源和工具集成。InfluxDB 的一些主要特点包括：高写入和查询性能：InfluxDB 优化了高吞吐量数据摄取和检索，非常适合实时数据处理和分析。
26,数据存储 Mysql, redis, ES,InfluxDB 业务选型
sinat_36454672的博客
07-18 1939
1, Redis vs MySQL redis 查询快, 效率比mysql(索引)快 Redis薄弱的地方是，不擅长做Key的搜索。对MySQL，我们可以使用LIKE操作前匹配走B+树索引实现快速搜索；但对Redis，我们使用Keys命令对Key的搜索，其实相当于在MySQL里做全表扫描 @GetMapping("redis2") public void redis2() { Assert.assertTrue(stringRedisTemplate.keys("item71*").size() == 1
ElasticSearch 性能测试
07-21
进行Elasticsearch性能测试是评估其性能和确定系统的瓶颈的重要步骤。下面是一些常见的Elasticsearch性能测试方法和工具： 1. 压力测试工具：使用专门的压力测试工具如Apache JMeter、Gatling等，模拟多用户并发...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值