Elasticsearch 6.x 学习笔记
文章平均质量分 50
Elasticsearch 6.x 学习笔记
程裕强
开源是人类最大的公益事业!--程裕强
展开
-
ES的IP白名单
参考官方文档设置ES的IP白名单https://www.elastic.co/guide/en/elasticsearch/reference/current/ip-filtering.html#https://www.elastic.co/guide/en/elasticsearch/reference/6.4/ip-filtering.html#_http_filteringxpack.security.transport.filter.enabled: falsexpack.security.原创 2021-08-04 17:24:02 · 2849 阅读 · 0 评论 -
完整教程:spring-boot-starter-data-elasticsearch整合elasticsearch 6.x
1、前言网上很多言论:新版本的SpringBoot 2的spring-boot-starter-data-elasticsearch中支持的Elasticsearch版本是2.X,但Elasticsearch实际上已经发展到6.5.X版本了,为了更好的使用Elasticsearch的新特性,所以弃用了spring-boot-starter-data-elasticsearch依赖,而改为直...原创 2019-01-09 10:39:58 · 100173 阅读 · 41 评论 -
Elasticsearch 6.x集群搭建
以下操作,每个节点相同1、关闭防火墙和SELINUXsystemctl stop firewalldsystemctl disable firewalldsetenforce 0sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config2、JDK安装rpm -qa|grep java|xargs rpm ...原创 2018-11-12 18:46:14 · 1824 阅读 · 0 评论 -
Elasticsearch 5.x 安装X-Pack
x-pack是elasticsearch的一个扩展包,将安全,警告,监视,图形和报告功能捆绑在一个易于安装的软件包中,也是官方推荐的。1.关闭ElasticSearch服务需要关闭Elasticsearch 服务,如果已经启动的话,则安装安装x-pack失败。2、ElasticSearch5.x安装x-pack安装过程中遇到选项直接Y过去就可以了[elastic@n...原创 2018-04-24 14:39:10 · 3828 阅读 · 1 评论 -
Kibana关闭停止失败解决办法
1、问题描述ElasticSearch服务异常停止了,这时Kibana提示无法连接到ElasticSearchlog [08:22:53.102] [warning][admin][elasticsearch] Unable to revive connection: http://node1:9200/ log [08:22:53.105] [warning][admin...原创 2018-04-24 16:37:35 · 5685 阅读 · 3 评论 -
logstash 6.x 收集syslog日志
1、logstash端关闭logstash所在机器的rsyslog,释放514端口号[root@node1 config]# systemctl stop rsyslog[root@node1 config]# systemctl status rsyslog● rsyslog.service - System Logging Service Loaded: loaded (/u...原创 2018-04-26 14:48:58 · 4599 阅读 · 0 评论 -
Elasticsearch 6.x:先按照评分排序,再按照时间排序
最近在做一个搜索引擎,需要对文档进行中文分析,默认按照评分排序。现在需要先按照评分排序,再按照文档时间进行二次排序。核心代码如下:SearchResponse searchResponse = client.prepareSearch("test") .setTypes("doc") .setQuery(multiMatc...原创 2018-05-11 14:14:58 · 15823 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:elasticsearch+logstash+kibana 6.1.1
1、下载https://www.elastic.co/downloads/past-releases/logstash-6-1-1[es@node1 ~]$ tar -zxvf logstash-6.1.1.tar.gz[es@node1 ~]$ cd logstash-6.1.1[es@node1 logstash-6.1.1]$ lsbin CONTRIBUTORS...原创 2018-03-31 13:13:09 · 3076 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:37.新闻搜索之页面设计
1、搜索页面(1)JSP页面<%-- Created by IntelliJ IDEA. User: Chengyuqiang Date: 2018/2/25 0025 Time: 17:24 To change this template use File | Settings | File Templates.--%><%@ page cont...原创 2018-02-25 17:42:07 · 1270 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:36.新闻搜索之Maven项目创建
1、创建Maven项目(1)选择webapp (2)输入基本包名和项目名 (3)构建Maven项目成功 (4)编辑pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL...原创 2018-02-25 12:17:51 · 1621 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:35.Java API之集群管理
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-admin-cluster.html1、ClusterAdminClientESUtil.java类中增加获取集群管理的ClusterAdminClient对象的方法 /** * 获取集群管理的ClusterAdminClient...原创 2018-02-23 21:46:16 · 911 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:34.Java API之桶聚合
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/_bucket_aggregations.html1、terms聚合AggregationUtil.java中添加下面方法 /** * 分组聚合 * @param field * @return */ p...原创 2018-02-23 21:25:36 · 1729 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:33.Java API之指标聚合
0、自定义工具类https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-aggs.html To build aggregation requests, use AggregationBuilders helpers. Just import them in your class:import or...原创 2018-02-23 10:51:35 · 2605 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:32.Java API之复合查询
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-compound-queries.htmlCompound queriesedit Compound queries wrap other compound or leaf queries, either to combine their result...原创 2018-02-22 11:15:09 · 2696 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:31.Java API之词项查询
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-term-level-queries.html1、term查询Find documents which contain the exact term specified in the field specified.package cn....原创 2018-02-21 21:20:05 · 3591 阅读 · 2 评论 -
ElasticSearch 6.x 学习笔记:30.Java API之全文查询
1、全文查询概述https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-full-text-queries.htmlThe high-level full text queries are usually used for running full text queries on full text fi...原创 2018-02-09 23:04:49 · 2877 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:29.Java API之Match All Query
https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-query-dsl.html Elasticsearch provides a full Java query dsl in a similar manner to the REST Query DSL. The factory for query bui...原创 2018-02-09 22:50:15 · 2442 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:28.Java API之文档批量操作
1、批量查询https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-docs-multi-get.htmlMulti Get API The multi get API allows to get a list of documents based on their index, type and id...原创 2018-02-09 15:08:07 · 4633 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:27.Java API之文档管理
1、文档获取package cn.hadron;import cn.hadron.es.*;import org.elasticsearch.action.get.GetResponse;import org.elasticsearch.client.transport.TransportClient;public class GetDocDemo { public st...原创 2018-02-08 20:19:29 · 1827 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:26.Java API之文档添加
1、官网参考https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/java-docs-index.htmlGenerate JSON documentThere are several different ways of generating a JSON document:Manually (aka ...原创 2018-02-07 22:57:03 · 4721 阅读 · 5 评论 -
ElasticSearch 6.x 学习笔记:25.Java API之索引管理
25.1 判定索引是否存在package cn.hadron;import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsResponse;import org.elasticsearch.client.IndicesAdminClient;import org.elasticsearch.cl原创 2018-01-21 23:02:20 · 6108 阅读 · 5 评论 -
ElasticSearch 6.x 学习笔记:24.Java API连接Elasticsearch
24.1 实例演示package cn.hadron;import java.net.InetAddress;import java.net.UnknownHostException;import org.elasticsearch.action.get.GetResponse;import org.elasticsearch.client.transport.TransportC原创 2018-01-20 22:51:39 · 10375 阅读 · 9 评论 -
ElasticSearch 6.x 学习笔记:23.Java API之Maven项目
23.1 创建maven项目(1)新建工程项目 (2)选择maven类型 (3)输入名称 (4)确认maven安装路径 (5)项目路径 (6)构建maven工程 (7)构建完成 23.2 编辑pom.xml参考官网,编写pom.xml https://www.elastic.co/guide/en/elasticsearch/client/j原创 2018-01-20 21:47:57 · 6936 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:22.桶聚合
为了满足桶聚合多样性需求,修改文档如下。DELETE my-indexPUT my-indexPUT my-index/persion/1{ "name":"张三", "age":27, "gender":"男", "salary":15000, "dep":"bigdata"}PUT my-index/persion/2{ "name":"李四"原创 2018-01-19 23:16:51 · 6627 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:21.指标聚合
https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-aggregations-metrics.html为了方便聚合统计,增加两条文档PUT my-index/persion/5{ "name":"程裕强", "age":28, "salary":10000}PUT my-index/pe原创 2018-01-19 14:57:13 · 2361 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:20.搜索排序
20.1 按照文档添加顺序排序GET website/_searchGET website/_search{ "query": { "match_all": {} }}20.2 按照文档相关度评分排序GET website/_search{ "query": { "term": { "title": { "value原创 2018-01-19 14:31:01 · 4126 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:19.搜索高亮
19.1 高亮概述参照官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-request-highlighting.htmlHighlighters enable you to get highlighted snippets from one or more fields in your sea原创 2018-01-19 10:41:05 · 8880 阅读 · 4 评论 -
ElasticSearch 6.x 学习笔记:18.复合查询
【这一节先占个坑,后面再更新】https://www.elastic.co/guide/en/elasticsearch/reference/6.1/compound-queries.htmlCompound queries wrap other compound or leaf queries, either to combine their results and scores, to原创 2018-01-18 22:13:06 · 3165 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:17.词项查询
17.1 词项查询介绍词项查询官网: https://www.elastic.co/guide/en/elasticsearch/reference/6.1/term-level-queries.htmlWhile the full text queries will analyze the query string before executing, the term-level qu原创 2018-01-17 23:14:19 · 3028 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:16.全文检索
ElasticSearch 6.x 全文检索相关内容官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/6.1/full-text-queries.htmlThe high-level full text queries are usually used for running full text queries on原创 2018-01-17 11:17:30 · 6367 阅读 · 4 评论 -
ElasticSearch 6.x 学习笔记:15.检索入门
15.1 准备数据[es@node1 ~]$ vi website.json [es@node1 ~]$ cat website.json{ "index":{ "_index": "website", "_type": "blog", "_id": "1" }}{ "title": "Ambari源码编译","author":"程裕强","postdate":"2016-12-2原创 2018-01-17 10:51:42 · 3660 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:14.mapping参数
14.1 mapping参数概述官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/6.1/mapping-params.html ElasticSearch提供了丰富的映射参数对字段的映射进行参数设计,比如字段的分词器、字段权重、日期格式、检索模型等等。14.2 analyzerhttps://www.el原创 2018-01-14 22:33:25 · 6002 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:13.mapping元字段
13.1 元数据概述mapping元字段官网文档 https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-fields.html#_document_source_meta_fieldsmapping元字段是mapping映射中描述文档本身的字段,大致可以分为文档属性元数据、文档元数据、索引元数据、路原创 2018-01-13 22:25:47 · 5264 阅读 · 3 评论 -
ElasticSearch 6.x 学习笔记:12.字段类型
12.1 字段类型概述 一级分类 二级分类 具体类型 核心类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_floa原创 2018-01-12 23:03:45 · 36896 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:11.映射Mapping
11.1 Mapping概述前文已经把ElasticSearch的核心概念和关系数据库做了一个对比,索引(index)相当于数据库,类型(type)相当于数据表,映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射(Mapping)用来定义一个文档,可以定义所包含的字段以及字段的类型、分词器及属性等等。映射可以分为动态映射和静态映射。 (1)动态映射 我们知道原创 2018-01-12 22:14:38 · 16449 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:10.批量操作
10.1 Bulk API如果文档数量非常庞大,商业运维中都是海量数据,一个一个操作文档显然不合实际。幸运的是ElasticSearch提供了文档的批量操作机制。我们已经知道mget允许一次性检索多个文档,ElasticSearch提供了Bulk API,可以执行批量索引、批量删除、批量更新等操作,也就是说Bulk API允许使用在单个步骤中进行多次 create 、 index 、 update原创 2018-01-09 15:32:46 · 4156 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:9.版本控制
9.1 冲突处理如果两个线程同时修改一个文档,这时就会发生冲突。比如某件商品存货100件,用户1下单买走1件,剩余99件;与此同时用户2也下单买走1件,但是用户2不知道用户1已经下单,看到剩余商品仍然是99件。这样造成系统中显示商品总数比实际数量要多,这种情况在商业系统中肯定是不能容忍的。 在数据库领域中,有两种方法通常被用来确保并发更新时变更不会丢失: 1、悲观并发控制 这种方法被关系型数据原创 2018-01-09 14:58:25 · 4567 阅读 · 0 评论 -
ElasticSearch 6.x 学习笔记:8.路由机制
PUT blog/csdn/3?routing=chengyuqiang{ "id":3, "title":"Java简介", "author":"chengyuqiang", "content":"Oracle Java"}{ "_index": "blog", "_type": "csdn", "_id": "3", "_version": 1, "res原创 2018-01-09 11:43:04 · 3583 阅读 · 1 评论 -
ElasticSearch 6.x 学习笔记:7.文档
7.1 新建文档index/type/id(1)一般格式PUT blog/csdn/1{ "id":1, "title":"Elasticsearch简介", "author":"chengyuqiang", "content":"Elasticsearch是一个基于Lucene的搜索引擎"}{ "_index": "blog", "_typ原创 2018-01-09 10:13:18 · 6082 阅读 · 5 评论 -
ElasticSearch 6.x 学习笔记:6.索引
6.1 创建索引(1)简单方式PUT test{ "acknowledged": true, "shards_acknowledged": true, "index": "test"}(2)索引名不能包含大些字母PUT Test (3)重复创建PUT test(4)指定参数PUT blog{ "settings": { "number_of_shards": 3,原创 2018-01-09 09:32:32 · 9420 阅读 · 2 评论