es获取最大时间的记录_Python日志写入ES之五种方案比较

最新推荐文章于 2022-06-09 14:24:45 发布
最新推荐文章于 2022-06-09 14:24:45 发布
阅读量688 收藏
点赞数
文章标签： es获取最大时间的记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39883286/article/details/111577049
版权
本文对比了flume+kafka+spark、logging+CMRESHandler、pyinotify、Elasticsearch库实时写入ES以及定时批量写入ES的方案。针对数据丢失、网络异常和并发性能等问题，文章详细介绍了每种方案的特点和适用场景，并给出了自定义超时重试及定时批量写入ES的实现细节。
摘要由CSDN通过智能技术生成

​实时/准实时方案可以使用以下四种方式实现：

  • flume+kafka+spark准实时写入ES
  • logging + CMRESHandler实时写入ES
  • 利用python中的Elasticsearch库实时写入ES
  • pyinotify后台监控文件变化写入ES

定时写入方案则有：

  • 超时重试及定时批量写入ES

接下来我将比较这几个方案的区别，及实现定时写入ES方案。

flume+kafka+spark实时写入ES

此方案流程为：通过flume采集日志，上送到kafka，接着spark程序订阅Topic并消费日志，然后写入ES。因为消息存在一定的滞后，所以叫准实时。对于数据量超大的场景，或同时需要利用spark做日志分析场景，一般采用此方案，目前公司使用的就是这样一套系统，但存在很多问题。目前随着集群上应用越来越多，资源可能不够用，导致程序偶尔会挂掉，另外kafka数据消息偶尔延时以及丢失问题，最终决定弃用本方案(项目对日志有精确要求，日志语料需要导出标注)

logging + CMRESHandler实时写入ES

另一种实时写入方案是：利用logging配合es写入模块做实时写入操作

环境安装：

pip install CMRESHandler

最低0.47元/天 解锁文章
weixin_39883286
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
es获取最大时间的记录_ES查询一段时间内某一循环时间段的数据
weixin_42363510的博客
01-17 3215
业务需求：查询几个月类每天8点到10点的数据最开始基于date类型，用painless脚本实现，用profile跟了下效率感觉不是很好，就冗余了个字段做range过滤，也一般，lucence了解的不是很深入，不知道有没有基于时间戳更好的实现，单独列出来备注下，后期看看是否有更好的实现static public StringscriptQueryByTime(String startTime, St...
es获取最大时间的记录_Java查询ES某个时间段或者范围的数据
weixin_39869791的博客
01-17 2855
1.引入SpringData相关Esjar包附上pom文件：xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0com.leyou.demoelasticsearch0.0.1-SNAPSHOTjarelasticsearchDemo p...
ES分组之后获取日期的最大值
weixin_44243038的博客
08-21 1779
TermsAggregationBuilder aggregationBuilder = AggregationBuilders.terms("cods_qc").field("cods.keyword") .subAggregation(AggregationBuilders.topHits("cods_tj")).field("cods.keyword") .subAggregation(AggregationBuilders.max(".
获取分组后取某字段最大一条记录（求每个类别中最大的值的列表）
gongzhufanlulu的博客
01-25 1108
获取分组后取某字段最大一条记录 方法一：(效率最高) select a.* from test a, (select type,max(typeindex) typeindex from test group by type) b where a.type = b.type and a.typeindex = b.typeindex order by a.type方法二：(效率次之)
es获取最大时间的记录_空间属性一体化全文检索方案：5.ES对空间数据的支持以及优化方案...
weixin_39525313的博客
12-09 417
前文再续，书接上一回。本节重点提要：1、ES对于空间查询的优化模型。2、ES对于投影坐标系的使用原则。上一节讲了ES的基本概念，最后也讲了一下关于ES对属性数据的存储结构，那么今天我们来讲讲ES对空间数据的支持。既然我们叫做空间属性一体化的全文检索，肯定就需要有空间查询的能力，而ES本身就具备这种能，使我们无需再使用额外的GIS软件。不过与传统和专业的GIS相比，ES对空间数据的支持还是...
Python对ElasticSearch获取数据及操作
12-26
使用Python对ElasticSearch获取数据及操作，供大家参考，具体内容如下 Version Python ：2.7 ElasticSearch：6.3 代码： #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : ...
Python如何把Spark数据写入ElasticSearch
09-17
### Python如何把Spark数据写入ElasticSearch 在大数据处理领域，Apache Spark 是一个非常流行的分布式计算框架，而 Elasticsearch（ES）则是一个基于 Lucene 的搜索引擎和存储系统，广泛用于实时搜索、分析以及...
Python将json文件写入ES数据库的方法
09-19
随着大数据技术的发展，Elasticsearch（简称ES）作为一种基于Lucene的搜索引擎，在数据搜索、日志分析等领域得到了广泛应用。Python作为一门高级编程语言，因其简洁易读的语法特性，成为处理JSON数据并写入Elastic...
python elasticsearch从创建索引到写入数据的全过程
09-18
Python Elasticsearch 是一个用于操作Elasticsearch的客户端库，它提供了丰富的接口来实现对Elasticsearch的各种操作，包括创建索引、插入数据等。在本文中，我们将深入探讨如何使用Python Elasticsearch 从创建索引...
Python写入日志到Elasticsearch(logging/loguru，可个性化定制写入信息)————附带详细代码和示例
韩江雪de 小屋
06-09 2150
Python日志写入，使用logging/loguru，可以增删字段、自定义消息格式，有详细的代码和示例。
es分组查最大_优化聚合查询 | Elasticsearch: 权威指南 | Elastic
weixin_36414864的博客
01-13 1760
优化聚合查询edit“elasticsearch 里面桶的叫法和 SQL 里面分组的概念是类似的，一个桶就类似 SQL 里面的一个 group，多级嵌套的 aggregation，类似 SQL 里面的多字段分组(group by field1,field2, …​..)，注意这里仅仅是概念类似，底层的实现原理是不一样的。 －译者注”terms 桶基于我们的数据动态构建桶；它并不知道到底生成了多少桶...
基于 ES 的日志Serverless 服务
weixin_45906054的博客
03-22 602
摘要：本文整理自阿里云高级产品专家赵弘扬（洪阳）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。主要内容包括：阿里云Elasticsearch业务阿里云Elasticsearch日志Serverless 服务阿里云Elasticsearch技术演进之路Tips：点击「阅读原文」查看原文视频一、阿里云Elasticsearch业务1、业务规模阿里云E...
elasticsearch中设置查询的请求超时时间
tiancityycf的专栏
05-12 9949
参考：https://www.phpmianshi.com/?id=251 背景 因为我们的项目是用的php，为了防止调用搜索时，请求处理时间太长，导致php-fpm占满，所以需要对外部接口设置请求的超时时间，避免过多的超时请求，我们可以用过对es的参数限制，设置超时时间 search 请求参数 from 从索引的第几条数据开始返回，默认是 0； size 返回多少条数据，默认是 10。 注意：Elasticsearch 集群实际是需要给 coordinate node 返.
【Elasticsearch PHP版】设置重试次数setRetries
深漂小码哥
07-01 548
<?php require 'vendor/autoload.php'; use Elasticsearch\ClientBuilder; $hosts = [ // 第一个节点配置 [ 'host' => 'localhost', // 必填项 'port' => 9200, // 不设置，默认9200, 'scheme' => 'http', // 不设置， 默认http 'user' =&g.
python应用日志写入ES
hang on it more longer
11-19 2244
python应用日志写入ES 实时/准实时方案可以使用以下3种方式实现： flume+kafka+spark准实时写入ES logging + CMRESHandler实时写入ES 利用python中的Elasticsearch库实时写入ES pyinotify后台监控文件变化写入ES 定时写入方案则有： 超时重试及定时批量写入ES import uuid es_id = str(uuid....
【Elasticsearch 技术分享】—— ES 查询检索数据的过程，是什么样子的？
程序员小航
08-27 643
前言 ES 使用过程中常用的就是查询以及检索，那查询和检索的过程，什么样的呢？ 公众号：liuzhihangs，记录工作学习中的技术、开发及源码笔记；时不时分享一些生活中的见闻感悟。欢迎大佬来指导！ 查询流程 GET my-index/_doc/0 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RMhsGvsM-1598539168904)(https://liuzhihang.com/oss/pic/article/fJmmvi-T7hz9J.png)] Cli.
ES数据写入流程介绍
淡定一生2333的博客
03-28 7883
今天被人问到了ES相关的问题，没有说上来。ES有段时间没用了，很多细节都忘了，幸好之前有看过一些源码，这里就整理下，写篇博客记录一下。 首先大致说下写索引的大概流程: primary分片是写索引的主入口,由它负责验证输入正确性,并负责将操作复制到其他副本。首先是根据document id, route到primary shard上执行。复制的时候不需要复制完全部的repl...
ES(Elasticsearch)日志类型
热门推荐
wangxuelei036的博客
06-03 1万+
每个软件应用为了方便排查运行时出现的问题或者一些做一些数据记录，都会提供相应的日志记录，Elasticsearch也不例外，Elasticsearch日志记录通过3类日志类型进行记录： （1）主要日志（cluster-name.log）:记录了Elasticsearch运行时所发生一切的综合信息，例如，某个查询失败或一个新的节点加入集群 （2）慢搜索日志（cluster-name_index_search_slowlog.log）:当某个查询运行得很慢时，Elasticsearch会在这里进行记录。默认
python es 指定id更新数据_Python-ElasticSearch，python对ES进行写入、更新、删除、搜索...
最新发布
06-02
要在Python中指定ID更新Elasticsearch中的数据，可以使用Elasticsearch Python客户端提供的update方法。以下是一个更新文档的示例代码： ```python from elasticsearch import Elasticsearch es = Elasticsearch() # 更新文档 es.update(index='my-index', id='my-id', body={'doc': {'new_field': 'new_value'}}) ``` 在这个例子中，我们指定了要更新的文档的index和id，并通过body参数传递了要更新的字段和值。在这种情况下，我们将在文档中添加一个名为“new_field”的新字段，并将其值设置为“new_value”。 如果文档不存在，Elasticsearch将创建一个新文档，并将其ID设置为指定的ID。 如果您想要更多的控制，比如指定更新的文档的版本、设置重试参数等等，可以使用update方法的其他参数。您可以在[Elasticsearch Python客户端的官方文档](https://elasticsearch-py.readthedocs.io/en/master/api.html#elasticsearch.Elasticsearch.update)中找到更多信息和示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值