elasticsearch的restful API和Java API

最新推荐文章于 2024-04-21 17:55:17 发布
最新推荐文章于 2024-04-21 17:55:17 发布
阅读量499 收藏
点赞数
文章标签： java 大数据 scala
原文链接：https://my.oschina.net/u/3768341/blog/1936633
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

本人现在使用的是elasticsearch 5.2.1的,服务器IP为192.168.5.182.所以在Java API和jar包中会有所不同.

常用的restful API如下:

http://192.168.5.182:9200/_cat/health?v 健康检查
http://192.168.5.182:9200/_cat/indices?v 查看索引
PUT http://192.168.5.182:9200/test_index?pretty  添加索引
DELETE http://192.168.5.182:9200/test_index 删除索引
PUT http://192.168.5.182:9200/ecommerce/product/1
BODY {
    "name":"zhonghua yagao",
    "desc":"caoben zhiwu",
    "price":40,
    "producer":"zhonghua producer",
    "tags":["qingxin"]
}   为索引添加数据,ecommerce索引,product type,1 ID
GET http://192.168.5.182:9200/ecommerce/product/1 查询数据
PUT http://192.168.5.182:9200/ecommerce/product/1
BODY {
    "name":"jiaqiangban zhonghua yagao",
    "desc":"caoben zhiwu",
    "price":40,
    "producer":"zhonghua producer",
    "tags":["qingxin"]
} 更新索引数据,方式一,必须带上所有数据
POST http://192.168.5.182:9200/ecommerce/product/1/_update
BODY {
    "doc": {
        "name":"gaolujie yagao"
    }
} 更新索引数据,方式二
DELETE http://192.168.5.182:9200/ecommerce/product/1 删除索引数据
GET http://192.168.5.182:9200/ecommerce/product/_search 搜索所有
GET http://192.168.5.182:9200/ecommerce/product/_search?q=name:yagao&sort=price:desc <query string search>
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>   "query":{
>      "match_all":{}
>   }
> }'   <query DSL查询>
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>     "query":{
>         "match":{
>              "name":"yagao"
>         }
>     },
>     "sort":[
>         {"price":"desc"}
>     ]
> }'  排序查询
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>    "query":{
>         "match_all":{}
>    },
>    "from":1,
>    "size":1
> }'  分页查询
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
{
   "query":{
        "match_all":{}
   },
   "_source":["name","price"]
}'  只查询指定的字段
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
{
>  "query":{
>      "bool":{
>         "must":{
>            "match":{
>               "name":"yagao"
>            }
>         },
>         "filter":{
>            "range":{
>               "price":{
>                  "gt":25
>               }
>            }
>         }
>      }
>   }
> }' 查询yagao的price范围,大于25 <query filter>
 curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>    "query":{
>       "match":{
>          "producer":"yagao producer"
>       }
>    }
> }' 全文检索<full-text search>
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
{
   "query":{
      "match_phrase":{
         "producer":"yagao producer"
      }
   }
}'  短语搜索<phrase search>
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>     "query":{
>        "match":{
>           "producer":"producer"
>        }
>     },
>     "highlight":{
>        "fields":{
>           "producer":{}
>        }
>     }
> }'  高亮显示<highlight search>
PUT http://192.168.5.182:9200/ecommerce/_mapping/product
BODY {
    "properties":{
        "tags":{
            "type":"text",
            "fielddata":true
        }
    }
}   将文本field的fielddata属性设置为true
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>     "aggs":{
>         "group_by_tags":{
>               "terms":{
>                    "field":"tags"
>               }
>         }
>     }
> }'  对tags聚合,会显示明细
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
{   "size":0,
    "aggs":{
        "group_by_tags":{
              "terms":{
                   "field":"tags"
              }
        }
    }
}'   对tags聚合,不显示明细,只显示聚合
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>    "size":0,
>    "query":{
>        "match":{
>            "name":"yagao"
>        }
>    },
>    "aggs":{
>        "group_by_tags":{
>            "terms":{
>                 "field":"tags"
>            }
>        }
>    }
> }'  搜索包含条件的聚合
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>     "size":0,
>     "aggs":{
>          "group_by_tags":{
>               "terms":{
>                    "field":"tags"
>               },
>               "aggs":{
>                    "avg_price":{
>                          "avg":{
>                                "field":"price"
>                          }
>                    }
>               }
>          }
>     }
> }'   聚合计算平均值
curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
> {
>     "size":0,
>     "aggs":{
>        "group_by_tags":{
>            "terms":{
>                "field":"tags",
>                "order":{
>                     "avg_price":"desc"
>                }
>            },
>            "aggs":{
>                "avg_price":{
>                     "avg":{
>                           "field":"price"
>                     }
>                }
>            }
>        }
>     }
> }'   聚合后降序排序

curl -XGET 'http://192.168.5.182:9200/ecommerce/product/_search' -d'
{
   "size":0,
   "aggs":{
      "group_by_price":{
          "range":{
              "field":"price",
              "ranges":[
                {      
                   "from":0,
                   "to":20
                },        
                {      
                   "from":20,
                   "to":40
                },        
                {      
                   "from":40,
                   "to":60
                }
              ]
           },
           "aggs":{
              "group_by_tags":{
                 "terms":{
                     "field":"tags"
                 },
                 "aggs":{
                     "average_price":{
                         "avg":{
                             "field":"price"
                         }
                     }
                 }
              }
           }
      }
   }
 }'     按照价格区间分组后再聚合tags平均价格
PUT http://192.168.5.182:9200/company
BODY {
    "mappings": {
            "employee": {
                "properties": {
                    "age": {
                        "type": "long"
                    },
                    "country": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        },
                        "fielddata":true
                    },
                    "join_date": {
                        "type": "date"
                    },
                    "name": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "position": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "salary": {
                        "type": "long"
                    }
                }
            }
        }
} 给country建立正排索引

在Java API中,我们需要先找到相应的jar包,maven中的配置如下(开始之前请先执行上面的给country建立正排索引的restful API)

<dependency>
   <groupId>org.elasticsearch.client</groupId>
   <artifactId>transport</artifactId>
   <version>5.2.1</version>
</dependency>

5.2.1中只需要配这一个就可以了,当然不同的版本配置的都不同,高版本的需要配

<dependency>
   <groupId>org.elasticsearch</groupId>
   <artifactId>elasticsearch</artifactId>
</dependency>

我们依然在resources文件中做如下配置(注意restful API中使用的是9200端口,而Java API使用的是9300端口)

elasticsearch:
  clusterName: aubin-cluster
  clusterNodes: 192.168.5.182:9300

配置类如下

@Getter
@Setter
@Configuration
@ConfigurationProperties(prefix = "elasticsearch")
public class ElasticSearchConfig {

   private String clusterName;

   private String clusterNodes;

    /**
     * 使用elasticsearch实现类时才触发
     *
     * @return
     */
   @Bean
   public TransportClient transportClient() {
      // 设置集群名字
      Settings settings = Settings.builder().put("cluster.name", this.clusterName).build();
      TransportClient client = new PreBuiltTransportClient(settings);
      try {
         // 读取的ip列表是以逗号分隔的
         for (String clusterNode : this.clusterNodes.split(",")) {
            String ip = clusterNode.split(":")[0];
            String port = clusterNode.split(":")[1];
            client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ip), Integer.parseInt(port)));
         }
      } catch (UnknownHostException e) {
         e.printStackTrace();
      }

      return client;
   }
}

在5.2.1中使用的是InetSocketTransportAddress,这是一个具体的类,而在高版本中此处为TransportAddress,这是一个接口.

我们做一个数据类

@Component
public class DataEs {
    @Autowired
    private TransportClient transportClient;

    /**
     * 添加原始数据
     * @throws IOException
     */
    @PostConstruct
    private void init() throws IOException {
        transportClient.prepareIndex("company","employee","1").setSource(XContentFactory.jsonBuilder().startObject()
                .field("name","jack")
                .field("age",27)
                .field("position","technique software")
                .field("country","China")
                .field("join_date","2018-01-01")
                .field("salary",10000)
                .endObject()).get();
        transportClient.prepareIndex("company","employee","2").setSource(XContentFactory.jsonBuilder().startObject()
                .field("name","marry")
                .field("age",35)
                .field("position","technique manager")
                .field("country","China")
                .field("join_date","2018-01-01")
                .field("salary",12000)
                .endObject()).get();
        transportClient.prepareIndex("company","employee","3").setSource(XContentFactory.jsonBuilder().startObject()
                .field("name","tom")
                .field("age",32)
                .field("position","senior technique software")
                .field("country","China")
                .field("join_date","2017-01-01")
                .field("salary",11000)
                .endObject()).get();
        transportClient.prepareIndex("company","employee","4").setSource(XContentFactory.jsonBuilder().startObject()
                .field("name","jen")
                .field("age",25)
                .field("position","junior finance")
                .field("country","USA")
                .field("join_date","2017-01-01")
                .field("salary",7000)
                .endObject()).get();
        transportClient.prepareIndex("company","employee","5").setSource(XContentFactory.jsonBuilder().startObject()
                .field("name","mike")
                .field("age",37)
                .field("position","finance manager")
                .field("country","USA")
                .field("join_date","2016-01-01")
                .field("salary",15000)
                .endObject()).get();
    }

    /**
     * 员工搜索应用程序
     * 搜索职位中包含technique的员工
     * 同时要求age在30到40岁之间
     * 分页查询,查找第一页
     */
    public void executeSearch() {
        SearchResponse searchResponse = transportClient.prepareSearch("company")
                .setTypes("employee")
                .setQuery(QueryBuilders.matchQuery("position", "technique"))
                .setPostFilter(QueryBuilders.rangeQuery("age").from(30).to(40))
                .setFrom(0).setSize(1)
                .get();
        SearchHit[] hits = searchResponse.getHits().getHits();
        for (int i = 0;i < hits.length;i++) {
            System.out.println(hits[i].getSourceAsString());
        }
    }

    /**
     * 员工聚合分析应用程序
     * 首先按照country国家来进行分组
     * 然后在每个country分组内,再按照入职年限进行分组
     * 最后计算每个分组内的平均薪资
     */
    public void executeAggregation() {
        SearchResponse searchResponse = transportClient.prepareSearch("company")
                .addAggregation(AggregationBuilders.terms("group_by_country").field("country")
                .subAggregation(AggregationBuilders.dateHistogram("group_by_join_date")
                .field("join_date").dateHistogramInterval(DateHistogramInterval.YEAR)
                .subAggregation(AggregationBuilders.avg("avg_salary").field("salary"))))
                .execute().actionGet();
        Map<String,Aggregation> aggrMap = searchResponse.getAggregations().asMap();
        StringTerms groupByCountry = (StringTerms) aggrMap.get("group_by_country");
        Iterator<StringTerms.Bucket> groupByCountryBucketIterator = groupByCountry.getBuckets().iterator();
        while (groupByCountryBucketIterator.hasNext()) {
            StringTerms.Bucket groupByCountryBucket = groupByCountryBucketIterator.next();
            System.out.println(groupByCountryBucket.getKey() + ":" + groupByCountryBucket.getDocCount());
            Histogram groupByJoinDate = (Histogram) groupByCountryBucket.getAggregations().asMap().get("group_by_join_date");
            Iterator<? extends Histogram.Bucket> groupByJoinDateIterator = groupByJoinDate.getBuckets().iterator();
            while (groupByJoinDateIterator.hasNext()) {
                Histogram.Bucket groupByJoinDateBucket = groupByJoinDateIterator.next();
                System.out.println(groupByJoinDateBucket.getKey() + ":" + groupByJoinDateBucket.getDocCount());
                Avg avg = (Avg) groupByJoinDateBucket.getAggregations().asMap().get("avg_salary");
                System.out.println(avg.getValue());
            }
        }
    }
    public void close() {
        transportClient.close();
    }
}

在主程序中调用如下(一般我们可以先不执行搜索操作,先注入数据,因为elasticsearch本身有一个秒级写读的问题,如果数据写入,得需要1秒的时间才能读取出来)

@SpringBootApplication
public class EsApplication {
   public static void main(String[] args) {
      ApplicationContext applicationContext = SpringApplication.run(EsApplication.class, args);
      DataEs dataEs = (DataEs) applicationContext.getBean(DataEs.class);
      dataEs.executeSearch();
      dataEs.executeAggregation();
      dataEs.close();
   }
}

转载于:https://my.oschina.net/u/3768341/blog/1936633

weixin_34112208
关注
ElasticSearch Java API 中文文档
01-04
标签《ES Java API 中文文档》强调了文档的内容属性，它属于ElasticSearch的一个重要组成部分，即用Java语言进行数据交互和操作的应用程序接口部分。 从部分内容中可以提取出以下知识点： 1. **Transport Client**...
Elasticsearch JavaRESTAPI
zhangxm_qz的博客
06-27 971
文章目录Java RESTAPIJava 低级客户端引入依赖示例代码Java 高级客户端引入依赖示例代码 Java RESTAPI Elasticsearch提供了2种REST客户端，一种是低级客户端，一种是高级客户端。 Java Low Level REST Client：官方提供的低级客户端。该客户端通过http来连接Elasticsearch集群。用户在使用该客户端时需要将请求数据手动拼接成Elasticsearch所需JSON格式进行发送，收到响应时同样也需要将返回的JSON数据手动封装成对象。虽然
ElasticSearch与Java集成：掌握REST API和Java客户端
silenceallat的博客
03-28 1223
本文介绍了ElasticSearch与Java的集成方法，重点掌握了REST API和Java客户端的使用。通过实际应用场景和实用技巧，了解了ElasticSearch的核心概念和功能，包括索引、搜索、数据分析等。同时，本文也提到了ElasticSearch的安全性、性能优化等最佳实践。希望读者能够通过本文，快速上手ElasticSearch与Java的集成，提升数据搜索和分析的能力。
一文讲解Elasticsearch java restful api 跨版本兼容解决方案
microGP的专栏
01-12 4381
需求来源 之前的文章elasticsearch&kibana从6.0升级到7.9完整过程记录已经已经介绍了该需求的来源，也已经将elasticsearch的server端从6.0.0升级到了7.9.0，server端的问题解决了，接下来就是client端的问题了，怎么解决下面的问题： 之前6.0.0版本使用的是elasticsearch的JAVA api，这个版本的额API在7.X版本已经变成deprecated状态，并会在8.0版本被移除，所以需要将JAVA api转化为JAVA restfu
es dsl java api_ElasticSearch 系列 - RestFulAPI(DSL)
weixin_39599830的博客
02-23 311
前言DSL全称 Domain Specific language，即特定领域专用语言1.全局操作1.1 查询集群健康情况GET /_cat/health?v ?v表示显示头信息集群的健康状态有红、黄、绿三个状态：绿 – 一切正常(集群功能齐全)黄 – 所有数据可用，但有些副本尚未分配(集群功能完全)红 – 有些数据不可用(集群部分功能)1.2 查询各个节点状态GET /_cat/...
Elasticsearch的RESTful API
zyy247796143的博客
05-25 1608
接上一篇搭建文章中，nginx.conf 定义的log格式是： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 实际的nginx日志实例
基于Elasticsearch Java API的参考手册
04-29
通过深入理解和熟练运用Elasticsearch的Java API，开发者可以构建出高效、可扩展的搜索和分析解决方案，充分挖掘大数据的潜力。这份"基于Elasticsearch Java API的参考手册"将提供详细指南，帮助开发者掌握这些关键...
Elasticsearch Java API 手册.zip
06-17
《Elasticsearch Java API 手册》是针对Java开发者深入理解和使用Elasticsearch的重要参考资料。Elasticsearch是一款功能强大的开源搜索引擎，广泛应用于日志分析、实时监控、数据存储与检索等多个领域。它基于...
elasticsearch java api 离线文档
12-06
在Java API中，Elasticsearch提供了`TransportClient`和`RestHighLevelClient`两种主要的客户端。`TransportClient`基于TCP协议，适合于集群环境，能够充分利用Elasticsearch内部通信机制，提高性能。而`...
es restful java_Spring boot集成Elasticsearch Restful API案例分享
weixin_39788382的博客
02-28 271
The best elasticsearch highlevel java rest api-----bboss快速集成Elasticsearch Restful API案例分享,本案例代码可用于非spring项目和spring项目，兼容spring boot 1.x,2.x,兼容Elasticserch 1.x,2.x,5.x,6.x,以及后续版本。本文中讲述的方法同样适用于其他xxx boot...
org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable报错解决
清风皓月长歌
05-12 4356
elasticsearch连接客户端后，创建索引index时报错如下，提示没有获取到可用的节点。 解决办法：修改elasticsearch.yml配置文件，使elasticsearch集群的名字cluster.name: my-application与代码中的集群名字保持一致。 连接客户端时，设置集群名称为：my-application。要与elasticsearch.yml配置...
认识ElasticSearch的API，并深入Search的使用
chuiku1691的博客
02-28 1607
0.引言 本文罗列介绍了ES提供的公共API，重点围绕数据检索主题相关API进行说明总结。 1.概述 Elasticsearch提供全功能的RESTful API。以基于HTTP协议传输交换JSON数据的方式，向用户提供访问服务。 具体的访问方式可按照参数的提交方法区分为以下两种： 通过UR...
java查询elasticsearch_elasticsearch查询所有数据restful api以及java代码实现
weixin_31133021的博客
02-20 643
elasticsearch查询所有数据restful api以及java代码实现restful api实现如下：返回所有数据；Java代码实现：/***查询所有*@throwsException*/@TestpublicvoidsearchAll()throwsException{SearchRequestBuildersrb=client.prepareSearch("film")...
ElasticSearch组合多条件查询实现restful api以及java代码实现
热门推荐
飞上云端看彩虹
05-01 5万+
实际开发中，基本都是组合多条件查询。elasticsearch提供bool来实现这种需求； 主要参数： must：文档 必须 匹配这些条件才能被包含进来。 must_not：文档 必须不 匹配这些条件才能被包含进来。 should：如果满足这些语句中的任意语句，将增加 _score ，否则，无任何影响。它们主要用于修正每个文档的相关性得分。 filter：必须 匹配，但它以不评分、过滤模...
Elasticsearch 的 RESTful API解析
最新发布
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-21 802
Elasticsearch 使用 RESTful API 作为其主要的交互方式，允许用户通过标准的 HTTP 请求与 Elasticsearch 集群进行通信，进行索引管理、文档操作、搜索查询、集群监控等各种任务。
Elasticsearch实战系列-RESTful API使用
Ricky
02-24 1万+
上一篇文章中我们已经启动Elasticsearch了，接下来我们就可以与Elasticsearch进行通信，例如插入数据、检索数据、删除数据等等。Elasticsearch 提供了Java API和RESTful API 两种方式来与之通信。Java API如果你使用的是 JAVA，Elasticsearch 内置了两个客户端，你可以在你的代码中使用： 节点客户端: 节点客户端以一个 无数据节点
java 操作elasticsearch 之rest API
weixin_49761581的博客
01-28 2396
构建maven 工程 <properties> <elasticsearch.version>7.1.1</elasticsearch.version> </properties> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId&gt
ElasticSearch聚合查询Restful语法和JavaApi详解（基于ES7.6）
Java鱼仔的博客
08-22 2564
ElasticSearch聚合查询
elasticsearch 通过HTTP RESTful API 操作数据
gmHappy
07-25 3万+
1.检查es版本信息 http://IP:9200 curl 'IP:9200   2.查看集群是否健康 http://IP:9200/_cat/health?v curl 'IP:9200/_cat/health?v' 3.查看节点列表 http://IP:9200/_cat/nodes?v curl 'IP:9200/_cat/nodes?v' 4.列出所有索引及存...
使用Java设计与构建RESTful API实战
使用如Prometheus、Grafana等工具进行度量和可视化，以及ELK（Elasticsearch, Logstash, Kibana）堆栈进行日志管理可能会被提及。 RESTful Java Web Services Third Edition 是一本全面的指南，旨在帮助开发者掌握...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值