![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
eleasticSearch
文章平均质量分 95
夏微凉秋微暖
这个作者很懒,什么都没留下…
展开
-
canal-基于 MySQL 数据库增量日志解析
什么是canal我们先看官网的介绍:canal,译意为水道/管道/沟渠,主要用途是基于MySQL 数据库增量日志解析,提供增量数据订阅和消费。基于日志增量订阅和消费的业务包括数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x这句介绍有几个关键字:增量日志,增量数据订阅和消费。.原创 2021-03-10 10:54:42 · 702 阅读 · 0 评论 -
个人DSL使用全记录
// 全部查询GET student_task_status*/_search{ "query":{ "match_all": {} }}// 获取数据结构GET student_task_status*/_mapping//删除索引DELETE student_task_status// 条件查询GET student_task_status...原创 2020-04-17 18:44:53 · 290 阅读 · 0 评论 -
ES修改索引,修改mapper数据类型,修改kibanan Mapping conflict
1.获取索引的数据类型结构mappingGET self-2020.04.17/_mappingGET self-2020.04.17-new/_mapping2.创建新的索引,修改数据类型{ "mappings": { "doc": { "properties": { "tokenCreTimeStr": { "...原创 2020-04-17 18:36:05 · 2987 阅读 · 0 评论 -
java es date 时间处理
最近在存储数据到es中,总会有各种各样的问题,找遍了全网,也没有发现一个总结的比较好的,特此个人总结一下。1.在使用log(elk,logstash)存储数据到elk时,因为用的是带时区的方法,也就是:yyyy-MM-dd'T'HH:mm:ss:SSS'Z'这种格式,默认是UTC时间,东八区需要+8小时,所以在打日志的时候存储其他时间时:时间不要以这种格式:yyyy-MM-...原创 2020-04-17 16:07:27 · 8147 阅读 · 2 评论 -
java中直接通过elasticsearchTemplate写入DSL查询es数据
//language=JSON5 String str = "{\n" + " \"match_all\": {}\n" + "}"; WrapperQueryBuilder wrapperQueryBuilder = QueryBuilders.wrapperQuery(str); // 执行搜索 使用elasticsearc...原创 2020-04-15 15:41:26 · 2636 阅读 · 0 评论 -
spring boot 注解的方式写DSL 查询 @Query
实现类:import org.springframework.data.domain.Pageable;// 不要query 直接写dsl ?0 ?1 参数 Pageable 分页@Query("{\"bool\":{\"must\":[{\"term\":{\"subjectCode.keyword\":{\"value\":\"?0\"}}}]}}")List<S...原创 2020-04-13 18:11:48 · 535 阅读 · 0 评论 -
ES DSL 学习
1.普通的基础查询SQL:SELECT *FROM student_task_status TWHERE 1 = 1AND t.gradeLevel = '7'AND t.studentName LIKE '%北京%'AND ( t.taskStatus = '0' OR t.taskStatus = 'BEGIN')AND t.beginTime >= '...原创 2020-04-13 11:41:27 · 284 阅读 · 0 评论 -
ES 使用CURL 扩大解决Result window is too large
curl -H "Content-Type: application/json" -XPUT http://192.168.3.59:9200/student_task_status/_settings -d '{ "index" : { "max_result_window" : 50000}}'原创 2020-04-10 18:02:07 · 208 阅读 · 0 评论 -
ES创建实体类
1.创建类2.设置kibana时区 不需要再+8了import com.fasterxml.jackson.annotation.JsonFormat;import org.springframework.data.annotation.Id;import org.springframework.data.elasticsearch.annotations.Da...原创 2020-04-09 20:38:27 · 2484 阅读 · 0 评论 -
ES部分语法
// 从哪查询----从alengin所有前缀的查询 GET alengin*/_search { "query": { "range":{ // 查询范围 "@timestamp":{ // 时间 "gte":"2019-03-19T00:00:00.000Z", // 大于 格式化时间 ...原创 2019-03-29 11:26:27 · 1383 阅读 · 0 评论 -
es6进行查询操作等(包括springboot写法)
@Repositorypublic interface EsAlSubjectEnterLogDao extends ElasticsearchRepository<AlSubjectEnterLogDocument, String> { List<AlSubjectEnterLogDocument> findBySessionId(String sessionId)...原创 2019-03-19 15:55:47 · 1402 阅读 · 0 评论 -
在windows下搭建elk日志管理系统
ELK下载地址:https://www.elastic.co/cn/products分别下载:Elasticsearch、Logstash、KibanaElasticsearch:1.高版本的Elasticsearch必须使用jdk8+的版本。安装配置jdk。2.解压缩Elasticsearch后,执行bin下的elasticsearch.bat3.成功后需要运行head插件,但是低版本的插件不再...原创 2018-02-05 10:32:35 · 387 阅读 · 0 评论 -
linuxs搭建elk
一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时二、环境系统:ubuntu14JDK:1.8Elasticsearch-6.1Logstash-6.1kibana-6.1三、安装1、安装JDK下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-d...原创 2018-02-06 11:53:54 · 1590 阅读 · 0 评论 -
java中使用elastaicsearch(RestHighLevelClient)
1.maven的pom中添加:<dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>6.2.0&...原创 2018-02-26 11:30:57 · 3655 阅读 · 0 评论 -
Elasticsearch 的基本查询方法
import java.util.Map;import javax.servlet.http.HttpServletRequest;import org.elasticsearch.action.search.SearchRequest;import org.elasticsearch.action.search.SearchResponse;import org.elasticsea...原创 2018-02-27 15:33:49 · 666 阅读 · 0 评论 -
Elasticsearch 的基本删除方法
import com.sun.xml.internal.bind.v2.TODO;import java.io.IOException;import java.util.*;import java.util.HashMap;import java.util.Map;import javax.servlet.http.HttpServletRequest;import org....原创 2018-02-27 16:28:11 · 1885 阅读 · 0 评论 -
Elasticsearch 的基本更新方法
import com.sun.xml.internal.bind.v2.TODO;import java.io.IOException;import java.util.*;import java.util.HashMap;import java.util.Map;import javax.servlet.http.HttpServletRequest;import org...原创 2018-02-27 17:07:50 · 747 阅读 · 0 评论 -
Elasticsearch 的基本添加方法
import com.alibaba.fastjson.JSONObject;import com.sun.xml.internal.bind.v2.TODO;import java.io.IOException;import java.time.LocalDateTime;import java.util.*;import java.util.HashMap;import ja...原创 2018-02-27 18:20:17 · 466 阅读 · 0 评论