elasticsearch
GoodStudyAndDayDayUp
日日留心,事事留心
展开
-
logstash 启动命令
1. 指定配置文件启动斌目录下执行./logstash -f /etc/logstash/config.d/xxx.conf &配置数据存储路径参考:https://blog.csdn.net/sxf_123456/article/details/788639492. pipelines 启动pipelines 实现批量运行,配置之后不用一个一个指定启动参考:https://blog.csdn.net/UbuntuTouch/article/details/100995868?d原创 2021-11-04 14:35:07 · 10425 阅读 · 0 评论 -
ELK回顾
1. ELK是啥E:elastic search,数据存储和检索引擎;L:logstach,用于抽取数据,然后导入elastic search;K:kibana,用于 elastic search 可视化管理和查询;可以用 es head 等代替;2. logstash 同步mongoDB数据到ES以 mongoDB 中pffrom.qcar 数据表为例。2.1 配置 process.conf 文件位置:/etc/logstash/conf.d/process.confinput { m原创 2021-11-04 10:41:25 · 136 阅读 · 0 评论 -
Es 查询语句
在kibana Dev Tools 中使用# 清空process索引下的数据 POST process/_delete_by_query{ "query": { "match_all": {} } }############ QES ############POST qes/_search{ "query": { "match": {"file.filename":"CR工作量评估.xlsx"} } }POST qes/_search{ "query": { "match":原创 2020-12-23 17:49:25 · 278 阅读 · 0 评论 -
elasticsearchTemplate 根据id主键进行操作
代码罗列如下 /** * 根据ID批量查询数据 * * @param index 数据所在索引 * @param ids id清单 * @author: leiming5 */ @Override public List<ProcessEsVo> queryBatch(String index, List<String> ids) { Client client = elasti原创 2020-12-16 10:05:16 · 3011 阅读 · 1 评论 -
logstash 增量同步postgreSQL,刷不到数据问题
1.场景logstash 数据库配置,每分钟刷新 jdbc { jdbc_driver_library => "/etc/logstash/conf.d/portal/postgresql-9.4-1206-jdbc42.jar" jdbc_driver_class => "org.postgresql.Driver" jdbc_connection_string => "jdbc:postgresql://xx.xx.xx.xx:5432/portal_uat原创 2020-12-08 09:25:01 · 1511 阅读 · 0 评论 -
es sql根据字段值查询
根据id 查询GET qes/_search{ "query": { "bool": { "must": [ { "match": { "_id": "2ab193d2fb4ddcd6f175d20b5769ea" } } ], "must_not": [], "should": [] } }, "from": 0, "size"原创 2020-12-07 14:17:30 · 3292 阅读 · 0 评论 -
es 删除索引下的所有数据
POST ${索引名称}/_delete_by_query { "query": { "match_all": {} } }原创 2020-12-02 10:47:57 · 6403 阅读 · 1 评论 -
es常用查询
1. 查询所有GET /ems/emp/_search{ "query": { "match_all": {} }}2. 指定条数GET /ems/emp/_search{ "query": { "match_all": {} }, "size": 1}3. 分页、排序GET /ems/emp/_search{ "query": {"match_all": {}}, "sort": [ { "age"原创 2020-11-23 14:51:18 · 8696 阅读 · 0 评论 -
kibana 安装、配置、使用
1.安装1.1 查询版本先查询es版本,版本必须相同curl -XGET http://localhost:92001.2 下载下载相同版本,计算hash,然后解压wget https://artifacts.elastic.co/downloads/kibana/kibana-6.5.3-linux-x86_64.tar.gzsha1sum kibana-6.5.3-linux-x86_64.tar.gz tar -zxvf kibana-6.5.3-linux-x86_64.tar.g原创 2020-11-22 16:11:08 · 432 阅读 · 0 评论 -
es查询关键字
1. 查询关键字1.1 match 查询在任何字段上进行的是全文搜索还是精确查询,在执行查询前,它将用正确的分析器去分析查询字符串{ "match": { "tweet": "About Search" }}match_all 查询查询所有{ "match_all": {}}1.2 multi_match 查询在多个字段上执行相同的 match 查询{ "multi_match": { "query": "full text search",原创 2020-11-20 17:27:23 · 4003 阅读 · 0 评论 -
安装、启动 es head
1. 下载es headhttps://github.com/mobz/elasticsearch-head2.按照readme.md 执行git clone git://github.com/mobz/elasticsearch-head.gitcd elasticsearch-headnpm installnpm run startopen http://localhost:9100/3.npm install报错found 29 vulnerabilities (17 low, 1原创 2020-11-17 11:48:59 · 519 阅读 · 0 评论 -
logstash 无法连接elasticsearch
在本地docker 中安装并运行了上述两个镜像,发现logstash一直无法连接elasticsearch。查看logstash日志,发现抱错信息:WARN logstash.outputs.elasticsearch - Attempted to resurrect connection to dead ES instance,but got an error. {:url=>“http://127.0.0.1:9200/”,:error_type=>LogStash::Output原创 2020-05-29 10:53:16 · 10234 阅读 · 10 评论 -
docker安装ELK同步mysql数据并展示
1 docker安装ELK镜像首先,elasticsearch、logstash、kibana三者的版本必须严格的一致,不然会不兼容。REPOSITORY TAG IMAGE ID CREATED SIZEmysql latest 30f937e841c8 7 days ago 541MBlogstash原创 2020-05-28 18:01:20 · 1915 阅读 · 0 评论 -
ElasticsearchTemplate实现ES读写操作
1 实现的读写操作1.1 一般操作package com.lenovo.qes.portal.modules.knowledge.demo.service.impl;import com.alibaba.fastjson.JSON;import com.lenovo.qes.portal.modules.knowledge.demo.document.ProductDocument;import com.lenovo.qes.portal.modules.knowledge.demo.repos原创 2020-05-26 17:57:03 · 2509 阅读 · 0 评论 -
ElasticsearchRepository实现ES读写操作
注意:没有实现排序和分页1 导入依赖包 <!-- springBoot 项目--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependenc原创 2020-05-26 16:05:06 · 3887 阅读 · 3 评论 -
ElasticsearchOperations查询方法解析
/** * 1. 根据条件查询 * Execute the criteria query against elasticsearch and return result as {@link List} * * @param query 字段名称逻辑拼接字段的值,支持排序和分页 * @param clazz * @param <T> * @return */ <T> List<T> queryForList(CriteriaQuery .原创 2020-05-26 15:23:47 · 4717 阅读 · 0 评论