小鲍侃java

概述Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。Elasticsearch比传统关系型数据库如下：Relational DB -> Databases -> Tables -> Rows -> ColumnsEla.

1.下载安装包2.解压 tar -zxvf elasticsearch-7.6.0-linux-x86_64.tar.gz3.新建用户useradd elasticsearchpasswd elasticsearchchown -R elasticsearch /usr/local/es/elasticsearch-7.6.0 赋权4.修改配置文件cluster.name: elasticsearchnode.name: node-1path.data: /usr/l

1.安装gityum -y install git2.安装elasticsearch-headgit clone git://github.com/mobz/elasticsearch-head.git3.安装npm与node参考：https://blog.csdn.net/qq_20143059/article/details/1063343134.开放端口/sbin/iptables -I INPUT -p tcp --dport 9100 -j ACCEPT5.启

1.语句返回值概述Hits：返回结果中最重要的部分是hits，它包含total字段来表示匹配到的文档总数，并且一个hits数组包含所查询结果的前十个文档。在hits数组中每个结果包含文档的_index、_type、_id，加上_source字段。这意味着我们可以直接从返回的搜索结果中使用整个文档。这不像其他的搜索引擎，仅仅返回文档的ID，需要你单独去获取文档。每个结果还有一个_score，它衡量了文档与查询的匹配程度。默认情况下，首先返回最相关的文档结果，就是说，返回...

1.下载2.解压tar -zxvf kibana.tar.gz3.修改配置修改/usr/local/kibana/kibana-7.6.0-linux-x86_64/config/kibana.ymli18n.locale: "zh-CN" #汉化server.port: 5601server.host: 0.0.0.04.赋权因为需要使用非root用户启动 所以需要赋权chown -R elasticsearch /usr/local/kibana5.开通.

1.下载logstash安装包 本文使用的logstash-7.3.2.tar.gz 搭配使用的es，kibana版本均为7.6.0亲测好用 可以去官网或者来楼主网盘下载链接：https://pan.baidu.com/s/1izhfHnMlaHuSHm6q8rReAQ提取码：t8ws2.解压tar -zxvf logstash-7.3.2.tar.gz3.更改配置文件 在/logstash/bin目录下新建 log_to_es.conf（文件名随意，启动命令需要）并添加配置i..

1.下载由于下载太慢了 直接上网盘地址https://pan.baidu.com/s/1n2m_LeIz1T7DrJdSsvvMFA16mz2.解压解压到elasticsearch/elasticsearch-7.6.0/plugins路径下3.重启4.验证GET _analyze?pretty { "analyzer": "ik_max_word", "text": "我吃西红柿" }效果...

按照上文安装成功分词语法GET _analyze?pretty { "analyzer": "ik_max_word", "text": "二十四口交换机" }GET _analyze?pretty { "analyzer": "ik_smart", "text": "二十四口交换机" }ik_max_word：会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人

elasticsearch，kibana，logstash搭建见上文1.配置spring boot项目pom文件 <!-- logback 推送日志文件到logstash --> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder&

input{ tcp { mode => "server" host => "0.0.0.0" port => 5000 codec => json_lines type=> "A" } tcp { mode => "server" host => "0.0.0.0" port =&.

Spring Data ElasticsearchSpring Data Elasticsearch是Spring提供的一种以Spring Data风格来操作数据存储的方式，它可以避免编写大量的样板代码。常用注解(用于实体上)@Document//标示映射到Elasticsearch文档上的领域对象public @interface Document {//索引库名次，mysql中数据库的概念 String indexName(); //文档类型，mysql中表的概念

楼主使用es版本为7.6，使用的spring boot提供的start1.pom文件 <!-- elasticsearch --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</art.

// 返回对象 Result<List<ActionLogVO>> result = new Result(); NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder(); BoolQueryBuilder bool = QueryBuilders.boolQuery(); //must为and的语法 //ma...

spring boot通过elk存储日志时时区会有问题：通过下文可以看出保存的@timestamp会少8个小时楼主这里的处理办法：在保存时 新增一个timeFormat字段供查询显示使用 在通过时间筛选时 通过@timestamp字段筛选，输入的时间参数为当前时间，spring boot会自动减去8小时...

修改/logstash/bin中的配置文件 在filter中添加 ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" } ruby { code => "event.set('@timestamp',event.get('timestamp'))" } mutate { re

楼主在使用spring boot查询es时遇到一个问题 想使用时间进行筛选 但是在spring boot中@timestamp获取不到想法是在插入时 根据@timestamp复制一个字段配置方案修改/logstash/bin中的配置文件 在filter中添加 ruby { code => "event['time'] = event['@timestamp']" } mutate { add_field => ["tim.

楼主这有一个需求：搜索日志跟分为：接口名，入参，请求类型等字段返回这里使用了grok/logstash/bin下的配置文件DATA：为文字类型 不包含_,:等特殊符号GREEDYDATA:为文字类型 可以包含_,:等符号注意：如果时间类型 如2021-01-19 17:28:41匹配不到 ，需要更改为GREEDYDATA grok { match => {"message" => "\|%{DATA:userName}\|%{GREEDYDATA

在很多场景中 将索引的命名方式为 XXX-2021-01-01 那么怎么查询这样的索引呢使用 XXX-*即可GET /datalog-*/_search{ "from" : 5000, "size" : 10000}在spring boot中同理 在spring boot中 将实体类等位置的索引名 改为上文方式即可...

@ApiOperation(value = "清除详细日志接口", notes = "清除详细日志接口") @PostMapping("/clearDetailLog") public void clearDetailLog(@ApiParam(name = "清除详细日志接口输入参数实体", value = "清除详细日志接口输入参数实体", required = false) @RequestBody HandleDetailLogVO handleDetailLogV.

Elasticsearch导出两个时间段内.monitoring-logstash-7-*索引的数据 保存在text上 并删除索引public void exportCleanup() throws IOException { SimpleDateFormat sd = new SimpleDateFormat(DateFormatEnum.YYYY_MM_DD_HH_MM_SS.getFormat()); String time = "2021-01-20 00:00

elasticsearch配置elasticsearch.ymlcluster.name: elasticsearchnode.name: node-1path.data: /usr/local/elasticsearch/elasticsearch-7.6.0/datapath.logs: /usr/local/elasticsearch/elasticsearch-7.6.0/logsnetwork.host: 0.0.0.0network.bind_host: 0.0.0.0ht

<springProperty name="ES_URL" source="logging.es-url"/><springProperty name="ES_PORT" source="logging.es-port"/><destination>${ES_URL:- }:${ES_PORT:- }</destination>