elk
L-960
后端开发 java、python、asp.net core、半个vue
展开
-
使用curl操作elasticsearch的restapi
使用curl操作elasticsearch的restapi原创 2022-12-30 14:51:47 · 1509 阅读 · 0 评论 -
elasticsearch通过文件批量导入数据
elasticsearch通过文件批量导入数据原创 2022-12-30 14:10:18 · 3117 阅读 · 0 评论 -
es最大相似度检索(原生与java客户端)
es最大相似度检索(原生与java客户端)原创 2022-10-11 15:16:57 · 1283 阅读 · 0 评论 -
filebeat构建的docker容器运行时提示需要权限怎么搞
自定义构建的filebeat docker容器启动文件挂载到了主机目录下docker-compose.ymlcommand: ["./filebeat","-e","-c","./config/webServer-to-logstash.yml"]日志报错 提示需要权限但是如果当前服务器用户没有root权限如何解决...原创 2021-10-25 10:44:50 · 871 阅读 · 0 评论 -
java连接池详解与自定义es连接池
目录1 版本选择2 导入依赖3 使用commons-pool构造连接池3.1 pom.xml3.2 对象池类GenericObjectPool普通对象池GenericKeyedObjectPool带Key的对象池3.3 实现PoolableObjectFactory接口类3.4 继承BasePooledObjectFactory抽象类3.5 GenericObjectPool.Config()参数配置类3.6 elasticsearch连接池代码实现4 使用commons-pool2构造连接池4.1 pom原创 2021-11-10 16:45:16 · 2831 阅读 · 0 评论 -
es检索到的大量数据如何根据特定字段去重
借鉴:https://blog.csdn.net/wslyk606/article/details/84315862?spm=1001.2014.3001.5506目录1 引言2 Elasticsearch去重功能2.1 关系型数据库如何去重2.21 引言项目中es库中存储了大量的文档信息,而且是分段存储。需求:根据文档内容检索出当前的文档。问题:检索出了大量的相同文档,如何去重呢?大量相同文档伴生的问题:es检索到10000条以上数据就会抛错java Api中只能显示10条检索出来的数据原创 2021-10-21 16:20:44 · 11460 阅读 · 0 评论 -
关于es的一些默认限制解除
1 java Api中只能显示10条检索出来的数据这是es高级客户端的默认配置,通过size修改即可SearchSourceBuilder builder = new SearchSourceBuilder();BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// todo 这里写你的查询条件...builder.query(boolQuery).size(9999);2 es检索到10000条以上数据就会抛错错误日志:R原创 2021-08-23 17:37:17 · 2390 阅读 · 0 评论 -
查看es全部索引状态
查看es全部索引状态原创 2021-09-09 17:27:50 · 6512 阅读 · 0 评论 -
elasticsearch进行指定字段去重计数,和去重查询(java api)
es7.16.3版本指定字段去重计数RestHighLevelClient client = RestHighLevelClientPoolUtil.getClient();SearchRequest request = new SearchRequest(WebServerDocumentSettings.index);// 构建查询器SearchSourceBuilder builder = new SearchSourceBuilder();// 指定字段进行折叠,这个字段相同的多条数据原创 2022-02-10 16:52:54 · 5341 阅读 · 1 评论 -
Elasticsearch单字段支持的最大字符数
ignore_above的作用ES中用于设置超过设定字符后,不被索引或者存储。当字符超过给定长度后,能否存入keyword类型的最大支持的长度为——32766个UTF-8类型的字符。也就是说term精确匹配的最大支持的长度为32766个UTF-8个字符。text类型和keyword类型的存储字符数区别text类型:支持分词、全文检索,不支持聚合、排序操作。适合大字段存储,如:文章详情、content字段等;keyword类型:支持精确匹配,支持聚合、排序操作。适合精准字段匹配,..转载 2021-09-08 13:33:16 · 2559 阅读 · 0 评论 -
es简要介绍
1 简介2 基本概念索引索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更小的部分。可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。文档存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据原创 2021-10-21 16:21:31 · 190 阅读 · 0 评论 -
去除es索引的只读限制
在使用java高级客户端操作es时报错:org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];原因:ElasticSearch进入“只读”模式,只允许删除。 ES说明文档中有写明,当ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所以初步判断是磁盘空间不足导致ES不允许写入。解决:执行put方原创 2021-09-09 16:59:39 · 1301 阅读 · 0 评论 -
使用docker搭建es环境并简单使用
通过查阅文档,我们可以知道,keyword类型的字段长度是32766,而text类型是没有长度限制一说。原创 2021-08-05 15:54:45 · 1014 阅读 · 0 评论 -
ES 写索引报错 FORBIDDEN/12/index read-only / allow delete (api)解决方案
原文:https://blog.csdn.net/zheng45/article/details/92383323项目跑了一段时间,发现ES写索引异常,排查日志,报错org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];ElasticSearch进入“只读”模式,只允许删除。 ES说明文档中有写明,当ES数据所在目录磁转载 2021-08-19 10:52:03 · 929 阅读 · 0 评论 -
在java中使用已经弃用的类
一般情况下,如果使用已经被标记弃用的类,在idea中会有删除线。比如RestHighLevelClient在7.X版本已经弃用。@Deprecated@SuppressWarnings("removal")public class RestHighLevelClient implements Closeable {...}但是我是从6.X版本升级过来的,我还要使用一段时间RestHighLevelClient进行过渡。于是我想忽略弃用标记,继续使用此类,那么只需要在使用到该类的类上添加注解@原创 2022-01-20 16:47:01 · 2825 阅读 · 1 评论 -
logstash输出自身运行日志到文件
查看默认日志配置文件:vim logstash/config/log4j2.propertiesstatus = errorname = LogstashPropertiesConfigappender.console.type = Consoleappender.console.name = plain_consoleappender.console.layout.type = PatternLayoutappender.console.layout.pattern = [%d{ISO86原创 2021-09-06 14:51:10 · 3741 阅读 · 0 评论 -
logstash发送数据到elasticsearch之自定义模板
1 首先配置logstash.conf# 输入来自filebeatinput { beats { port => "5044" }}# 过滤器filter { grok { match =>{ "message"=>"(?<data>({.*}))" } } grok {原创 2021-09-10 10:19:37 · 1629 阅读 · 0 评论 -
logstash运行多个实例
Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the “path.data” setting将原先的命令:./bin/logstash -e -f ./pipeline/filebeat-to-console.conf改为原创 2021-09-07 11:34:11 · 1717 阅读 · 0 评论 -
logstash处理@timestamp时区
input { stdin { } }filter {#ruby {# code => "event.set('timestamp', event.get('@timestamp') + 8*60*60)" # code => "event.set('aaa', event.get('@timestamp').time.localtime)"# code => "event.set('bbb', event.timestamp.time.localtime +原创 2021-09-08 14:57:13 · 2206 阅读 · 1 评论 -
logstash同时支持多个管道(修改配置文件)
关于logstash多任务参考管方文档https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html在使用logstash执行任务时,我们一般会使用./bin/logstash","-f","./pipeline/logstash-to-es.conf","–config.reload.automatic命令,这个命令会指定我们的配置启动,但是它会忽略系统的pipelines.yml配置文件我们可以打开pipeline原创 2021-10-09 10:16:10 · 892 阅读 · 0 评论 -
logstash高可用之队列、死信队列
1 队列应对瞬间流量爆炸的通用机制就是使用队列,将瞬时流量先缓存起来再交由后台系统处理,后台系统能处理多少就从队列中取多少,从而避免了因流量爆炸导致的系统崩溃。使用队列,能够应对瞬间流量爆炸、提高系统可用性的机制,它利用了队列先进先出的机制平滑事件流量的峰谷,起到了削峰填谷的重要作用。1.1 持久化队列Logstash输入插件默认使用基于内存的事件队列,这就意味着如果logstash意外崩溃,队列中未处理的事件将全部丢失。不仅如此,基于内存的队列不仅容量小且不可以通过配置扩大容量,所以它能够起到原创 2022-01-26 10:46:50 · 3120 阅读 · 0 评论 -
使用elasticdump导出和导入elasticsearch的索引数据
官网:https://www.npmjs.com/package/elasticdump文章目录elasticdump 简介1 前置条件2 下载镜像3 导出操作3.1 导出mapping数据3.2 导出data数据3.3 参数解释3.4 操作日志3.5结论4 导入操作4.1 导入mapping数据4.2 导入data数据4.3 操作日志4.4 结论5 注意事项elasticdump 简介用于转移和保存ES索引数据1 前置条件elasticdump具有两种两种方式:npm和Docker(假设已存在对原创 2022-01-20 15:30:58 · 3819 阅读 · 0 评论 -
在RestHighLevelClient中增加用户名密码验证
转载自https://www.cnblogs.com/ilovejesus/p/12579841.html@Configurationpublic class ElasticSearchClient { @Value("${ElasticSearch.Hosts}") private String hosts; @Value("${ElasticSearch.UserName}") private String userName; @Value("${Elasti转载 2022-01-19 15:37:45 · 2686 阅读 · 0 评论 -
docker环境下elk添加身份验证
构建好elasticsearch、logstash、kibana、filebeat的容器。docker-compose文件如下---给elasticsearch添加身份验证官方文档如下:https://www.elastic.co/guide/en/elasticsearch/reference/7.16/security-minimal-setup.html#security-create-builtin-users修改elasticsearch.yml的配置文件,新增一行xpack.secu原创 2022-01-18 17:13:32 · 6041 阅读 · 1 评论 -
解决filebeat 报错 Failed to publish events
报错日志filebeat | 2021-12-27T17:12:03.469+0800 ERROR logstash/async.go:256 Failed to publish events caused by: write tcp 192.168.0.5:35510->192.168.0.4:5044: write: connection reset by peerfilebeat | 2021-12-27T17:12:04.469+0800 ERROR pip原创 2021-12-28 09:39:07 · 9056 阅读 · 0 评论 -
docker-compose修改es端口
services: elasticsearch: restart: always image: elasticsearch:6.5.4 container_name: elasticsearch environment: - http.port=9201 - transport.tcp.port=9301 ports: - 9201:9201 volumes: - ./elasticsearch/plugin原创 2021-10-19 11:16:22 · 998 阅读 · 1 评论 -
搞懂ELK,墙裂推荐(转载)
搞懂ELK并不是一件特别难的事(ELK)https://www.cnblogs.com/zsql/p/13164414.html转载 2021-10-09 14:15:14 · 50 阅读 · 0 评论 -
生产环境下的filebeat怎么玩
本文详细介绍filebeat参考文章:https://www.cnblogs.com/zsql/p/13137833.html目录1 ELK?ElasticStack?2 filebeat2.1、filebeat和beats的关系2.2、filebeat是什么2.3、filebeat和logstash的关系2.2 filebeat的工作原理2.2.1、filebeat的构成2.2.2、filebeat如何保存文件的状态2.2.3、filebeat何如保证至少一次数据消费3 生产环境中使用filebeat原创 2021-08-31 18:36:14 · 328 阅读 · 0 评论