ElasticSearch之Java Api聚合分组实战

最新推荐文章于 2024-04-15 02:45:26 发布
最新推荐文章于 2024-04-15 02:45:26 发布
阅读量3.3k 收藏
点赞数 3
分类专栏： 全文索引

ElasticSearch之Java Api聚合分组实战

http://mp.weixin.qq.com/s?__biz=MzAxMzE4MDI0NQ==&mid=402798573&idx=1&sn=1f0f924f9db75141cbb54170cac0473c&scene=1&srcid=0409DV9VJJwIWQjatjWQREGu#rd

最近有个日志收集监控的项目采用的技术栈是ELK+JAVA+Spring，客户端语言使用的是Java，以后有机会的话可以试一下JavaScript+Nodejs的方式，非常轻量级的组合，只不过不太适合服务化的工程，Kibana充当可视化层，功能虽然非常强大和灵活，但是需要业务人员懂Lucene的查询语法和Kibana的Dashboard仪表盘自定义功能才能玩的转，所以Kibana面向专业的开发人员和运维人员比较良好，但面向业务人员则稍微有点难度，我们这边就使用Java进行二次开发，然后前端定义几个业务人员关注的图表，然后把后端查询的数据，按照一定的维度放进去即可。 

基础环境： 
（1）ElasticSearch1.7.2 
（2）Logstash2.2.2 
（3）Kibana4.1.2 
（3）JDK7 
（4）Spring4.2 


使用到的技术点： 
（1）ElasticSearch的查询 
（2）ElasticSearch的过滤 
（3）ElasticSearch的日期聚合 
（4）ElasticSearch的Terms聚合 
（5）ElasticSearch的多级分组 
（6）ElasticSearch+Logstash的时区问题 

直接上代码： 

Java代码  


  1. /** 

  2.  * Created by qindongliang on 2016/4/6. 

  3.  */  

  4. @Repository("esDaoImpl")  

  5. public class ESDaoImpl implements ESDao {  

  6.   

  7.     private static Logger log= LoggerFactory.getLogger(ESDaoImpl.class);  

  8.     @Autowired  

  9.     private ESConf esConf;  

  10.   

  11.     @Resource(name = "client")  

  12.     private  Client client;  

  13.   

  14.   

  15.     @Override  

  16.     public MonitorCount count() {  

  17.         MonitorCount count=new MonitorCount();  

  18.         //今天的数量  

  19.         count.setToday_count(customCount(false,"*:*"));  

  20.         //今天的入库量  

  21.         count.setToday_store_count(customCount(false,"-save:1"));  

  22.         //所有的总量  

  23.         count.setTotal_count(customCount(true,"*:*"));  

  24.         //所有的入库总量  

  25.         count.setTotal_store_count(customCount(true,"-save:1"));  

  26.         return count;  

  27.     }  

  28.   

  29.     private long customCount(boolean isQueryAll, String queryString){  

  30.         try {  

  31.             //今天的开始时间 比如2016-04-01 00:00:00  

  32.             long today_start = TimeTools.getDayTimeStamp(0);  

  33.             //今天的结束时间 也就是明天的开始时间 比如2016-04-02 00:00:00  

  34.             //一闭区间一开区间即得到一天的统计量  

  35.             long today_end=TimeTools.getDayTimeStamp(1);  

  36.             StringBuffer fq = new StringBuffer();  

  37.                      fq.append("@timestamp:")  

  38.                     .append(" [ ")  

  39.                     .append(today_start)  

  40.                     .append(" TO  ")  

  41.                     .append(today_end)  

  42.                     .append(" } ");  

  43.             //构建查询请求，使用Lucene高级查询语法  

  44.             QueryBuilder query=QueryBuilders.queryStringQuery(queryString);  

  45.             //构建查询请求  

  46.             SearchRequestBuilder search = client.prepareSearch("crawl*").setTypes("logs");  

  47.             //非所有的情况下，设置日期过滤  

  48.             if(isQueryAll){  

  49.                 search.setQuery(query);//查询所有  

  50.             }else {//加上日期过滤  

  51.                 search.setQuery(QueryBuilders.filteredQuery(query, FilterBuilders.queryFilter(QueryBuilders.queryStringQuery(fq.toString()))));  

  52.             }  

  53.             SearchResponse r = search.get();//得到查询结果  

  54.             long hits = r.getHits().getTotalHits();//读取命中数量  

  55.             return hits;  

  56.         }catch (Exception e){  

  57.             log.error("统计日期数量出错！",e);  

  58.         }  

  59.         return 0;  

  60.     }  

  61.   

  62.   

  63.     @Override  

  64.     public List<GroupCount> query(Condition condition) {  

  65.         return grouyQuery(condition);  

  66.     }  

  67.   

  68.     /*** 

  69.      * @param c 查询的条件 

  70.      * @return 查询的结果 

  71.      */  

  72.     private List<GroupCount> grouyQuery(Condition c){  

  73.         //封装结果集  

  74.         List<GroupCount> datas=new ArrayList<>();  

  75.         //组装分组  

  76.         DateHistogramBuilder dateAgg = AggregationBuilders.dateHistogram("dateagg");  

  77.         //定义分组的日期字段  

  78.         dateAgg.field("@timestamp");  

  79.         //按天分组  

  80.         if(CountType.EACH_DAY==(c.getType())) {  

  81.             dateAgg.interval(DateHistogram.Interval.DAY);  

  82.             dateAgg.timeZone("+8:00");  

  83.             dateAgg.format("yyyy-MM-dd");  

  84.         //按小时分组  

  85.         }else if(CountType.EACH_HOUR==c.getType()){  

  86.             dateAgg.interval(DateHistogram.Interval.HOUR);  

  87.             //按小时分组，必须使用这个方法，不然得到的结果不正确  

  88.             dateAgg.postZone("+8:00");  

  89.             dateAgg.format("yyyy-MM-dd HH");  

  90.         //无效分组  

  91.         }else{  

  92.             throw new NullPointerException("无效的枚举类型");  

  93.         }  

  94.         //二级分组，统计入库的成功失败量 0 1 2 , 1为不成功  

  95.         dateAgg.subAggregation(AggregationBuilders.terms("success").field("save"));  

  96.   

  97.         //查询过滤条件  

  98.         StringBuffer fq = new StringBuffer();  

  99.         //过滤时间字段  

  100.         fq.append(" +@timestamp:")  

  101.                 .append(" [ ")  

  102.                 .append(c.getStart().getTime())  

  103.                 .append(" TO  ")  

  104.                 .append(c.getEnd().getTime())  

  105.                 .append(" } ");  

  106.         //过滤一级  

  107.         if(StringUtils.isNotEmpty(c.getT1())){  

  108.             fq.append(" +t1:").append(c.getT1());  

  109.         }  

  110.         //过滤二级  

  111.         if(StringUtils.isNotEmpty(c.getT2())){  

  112.             fq.append(" +t2:").append(c.getT2());  

  113.         }  

  114.         //过滤三级  

  115.         if(StringUtils.isNotEmpty(c.getT3())){  

  116.             fq.append(" +t3:").append(c.getT3());  

  117.         }  

  118.         //过滤url  

  119.         if(StringUtils.isNotEmpty(c.getSourceUrl())){  

  120.             //对url进行转义，防止查询出现错误  

  121.             fq.append(" +url:").append(QueryParserBase.escape(c.getSourceUrl()));  

  122.         }  

  123.         //过滤省份编码  

  124.         if(StringUtils.isNotEmpty(c.getProvinceCode())){  

  125.             fq.append(" +pcode:").append(c.getProvinceCode());  

  126.         }  

  127.         //过滤入库状态  

  128.         if(c.getSavaState()!=null){  

  129.             fq.append(" +save:").append(c.getSavaState().getCode());  

  130.         }  

  131.         //过滤http状态码  

  132.         if(c.getWebsiteState()!=null){  

  133.             if(!c.getWebsiteState().getCode().equals("-1")) {  

  134.                 fq.append(" +httpcode:").append(c.getWebsiteState().getCode());  

  135.             }else{  

  136.                 fq.append(" -httpcode:").append("(0 110 200)");  

  137.             }  

  138.         }  

  139.         //过滤配置configid  

  140.         if(StringUtils.isNotEmpty(c.getConfigId())){  

  141.             fq.append(" +cid:").append(c.getConfigId());  

  142.         }  

  143.   

  144.   

  145.   

  146.         //查询索引  

  147.         SearchRequestBuilder search=client.prepareSearch("crawl*").setTypes("logs");  

  148.         //组装请求  

  149.         search.setQuery(QueryBuilders.filteredQuery(QueryBuilders.matchAllQuery(),  

  150.                 FilterBuilders.queryFilter(QueryBuilders.queryStringQuery(fq.toString())  

  151.                         .defaultOperator(QueryStringQueryBuilder.Operator.AND)  

  152.                 ))).addAggregation(dateAgg);  

  153.         //获取查询结果  

  154.         SearchResponse r = search.get();//得到查询结果  

  155.         //获取一级聚合数据  

  156.         Histogram h=r.getAggregations().get("dateagg");  

  157.         //得到一级聚合结果里面的分桶集合  

  158.         List<DateHistogram.Bucket> buckets = (List<DateHistogram.Bucket>) h.getBuckets();  

  159.         //遍历分桶集  

  160.         for(DateHistogram.Bucket b:buckets){  

  161.             //读取二级聚合数据集引用  

  162.             Aggregations sub = b.getAggregations();  

  163.             //获取二级聚合集合  

  164.             StringTerms count = sub.get("success");  

  165.             GroupCount groupCount=new GroupCount();  

  166.             //设置x轴分组日期  

  167.             groupCount.setGroupKey(b.getKey());  

  168.             //设置指定分组条件下入库总量  

  169.             groupCount.setTotal_count(b.getDocCount());  

  170.             //读取指定分组条件下不成功的数量  

  171.             long bad_count=count.getBucketByKey("1")==null?0:count.getBucketByKey("1").getDocCount();  

  172.             //设置指定分组条件下成功的入库量  

  173.             groupCount.setTotal_store_count(b.getDocCount()-bad_count);  

  174.             //计算成功率  

  175.             groupCount.setSuccess_rate(groupCount.getTotal_store_count()*1.0/groupCount.getTotal_count());  

  176.             //添加到集合里面  

  177.             datas.add(groupCount);  

  178.         }  

  179.         return datas;  

  180.     }  

  181.   

  182.   

  183.   

  184. }  





总结： 
（1）关于时区的问题，目前发现在测试按小时，按天分组统计的时候，时区使用的方法不是一致的，而postZone这个方法，在1.5版本已经废弃，说是使用timeZone替代，但经测试发现在按小时分组的时候，使用timeZone加8个时区的并没生效，后续看下最新版本的ElasticSearch是否修复。 
（2）使用Terms的聚合分组时，这个字段最好是没有分过词的，否则大量的元数据返回，有可能会发生OOM的异常 
（3）在不需要评分排名查询的场景中，尽量使用filter查询，elasticsearch会缓存查询结果，从而能大幅提高检索性能 

今天先总结这么多，后续有空再关注下 
（1）elasticsearch中的Aggregations和Facet的区别以及对比Solr中的Group和Facet的区别 
（2）在不同的聚合渠道中多级分组中是组内有序还是全局有序 


今晚打酱油8
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Elasticsearch的学习以及其JAVA API的使用
baidu_17353319的博客
11-21 1625
此文章主要整理Elasticsearch的实际使用中遇到的一些搜索技巧以及JAVA API的调用方法。后续会不断地补充。 目录 简单搜索 Match All Query Term Query Match Query Boolean Phrase和Phrase_prefix MultiMatch Query Wildcard Query Query String Query...
ElasticSearch java API - 聚合查询
热门推荐
Drowning in stream
09-20 2万+
Elastic Search Java API 各种聚合（Aggregation）查询的实现
ElasticSearch JavaAPI操作
qq_41649001的博客
05-25 302
ES学习 第一篇：ElasticSearch概述 第二篇：ElasticSearch入门 第三篇：ElasticSearch JavaAPI操作 Part3：ElasticSearch JavaAPI操作 ElasticSearch软件是由Java语言开发，可以通过JavaAPI的方式对ElasticSearch服务进行访问。 3.1 创建Maven项目 IDEA创建Maven项目，配置pom.xml依赖关系 <dependencies> <dependency&g
Elasticsearch 分组分页排序查询_elasticsearch分组查询
最新发布
2401_84160087的博客
04-15 420
【代码】Elasticsearch 分组分页排序查询_elasticsearch分组查询。
Elasticsearch系列-集群API(一)
10-19 7326
引言 Elasticsearch提供了大量了的Rest API用以操作Elastic search的相关功能，提供了极大的便利，掌握这些API是熟练地使用Elasticsearch的前提。 Elastic search提供的API有集群API、搜索API、索引API、文档API、cat API、聚合API等，本文主要讲解Elasticsearch API，使用集群API(下文称为cluster A...
elasticsearch 聚合的JAVA API
qq_36245532的博客
08-28 283
工作中大量用到ES，记录下备忘 ES 常见查询 一、根据ID 进行单个查询 GetResponse response = client.prepareGet("accounts", "person", "1") .setOperationThreaded(false) .get(); 相对于sql 的 select * f...
elastic java api 聚合_Elasticsearch JAVA api轻松搞定groupBy聚合
weixin_35920379的博客
02-13 460
本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。为了简单起见，只给出一级groupby即group by field1(而不涉及到多级，例如group by field1, field2, ...)；如果你需要多级的groupby，在实现上可能需要拆分的更加细致。即将给出的方法，适用于如下的场景：场景1：找出分组中的所有桶，例如，select gro...
Java Api elasticsearch 组合查询
lhp12355的博客
08-13 174
public class ESTest_Doc_Query { public static void main(String[] args) throws Exception { //创建ES客户端 RestHighLevelClient esClient = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost",9200,"http")) ...
ElasticSearch Java API
12-09
**Elasticsearch Java API**是Elasticsearch与Java应用程序交互的主要工具，它允许开发者在Java环境中无缝地创建、管理和查询Elasticsearch索引。Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，用于...
Java 之 ElasticSearch7.x.x 爬虫 + 项目实战-搜索页面
11-09
Java API是与Elasticsearch交互的主要方式之一，可以方便地创建索引、插入文档、执行查询等操作。 其次，**SpringBoot** 是Spring框架的一个简化版，它旨在简化创建独立的、生产级别的基于Spring的应用程序。通过...
Elasticsearch实战与原理解析 源代码.zip
06-06
例如，你可能会看到如何使用Java API或者curl命令来与Elasticsearch交互，创建索引并插入文档，或者执行复杂的聚合查询。 在实战部分，你可能会学习到如何处理实时数据流，比如日志分析或者实时监控。Elasticsearch...
elasticsearch-java.rar
12-23
Elasticsearch提供了Java API，使得Java开发者可以直接在代码中操作Elasticsearch集群，执行索引、查询、更新和删除等操作。这个API是与Elasticsearch服务器通信的主要方式，简化了开发过程。 3. **安装与配置** ...
Lucene全文检索入门项目 Java实现Maven项目 Elasticsearch 基础实战.zip
01-14
【标题】"Lucene全文检索入门项目 Java实现Maven项目 Elasticsearch 基础实战" 提供了一个学习如何在Java环境中运用全文检索技术的起点。这个项目涵盖了两个主要的开源工具：Lucene和Elasticsearch，它们都是业界...
java中的@repository什么意思
u011277123的博客
03-16 1万+
spring中的注解，@Repository用于标注数据访问组件，即DAO组件。例： @Repository public class VentorDaoImpl implements iVentorDao { } 在一个稍大的项目中，如果组件采用xml的bean定义来配置，显然会增加配置文件的体积，查找以及维护起来也不太方便。 Spring2.5为我们引入了组件自动扫描机制，他在类路径...
ElasticSearch学习系列（三）基于Springboot的Elasticsearch8.1.3的JavaAPI操作(附源码)
后端开发
05-09 728
本文基于最新版本的8.1.3的elasticsearch数据库和kibana进行介绍。文章包含了在linux环境下Elasticsearch的安装和注意事项，es和kibana的启动和关闭脚本，springboot配置使用javaapi操作数据库等
ElasticSearch之JavaAPI使用
闰土的博客
05-30 146
ElasticSearch版本7.4.2。
Elasticsearch之Java Api操作
wkywky123的博客
04-14 482
1、Elasticsearch概述2、Elasticsearch入门3、Elasticsearch之Java Api操作4、Elasticsearch集群搭建5、Elasticsearch进阶6、Elasticsearch集成SpringBoot7、Elasticsearch优化8、Elasticsearch系列总结。
【ES】一、ES入门及JavaAPI使用
天天吞吞吐吐跳跳糖
09-16 4168
ElasticSearch采用的是倒排索引，即：以字或词为关键字构建索引，保存每个关键字所在的记录。当需要查询时，根据词条匹配查询条件，直接找到关联的记录。 倒排索引的建立和维护都比较复杂，但是在查询时可以和查询关键字关联的所有结果，并快速响应。
ES-JavaAPI操作
互联网知识分享
07-27 1102
是一个开源的分布式搜索和分析引擎，可以快速实时地存储、搜索和分析海量数据。它提供了供开发者使用，也有Java等多种语言的客户端库，方便开发者进行数据的增删改查操作。本篇文章将围绕ES-JavaAPI展开，详细介绍如何使用Java操作。本文介绍了如何使用ES-JavaAPI进行的操作，包括连接、创建索引、添加文档、获取文档、更新文档、删除文档和搜索文档。通过本文的示例代码，可以更好地理解和掌握ES-JavaAPI的使用方法。
elasticsearch java api 使用聚合查询某一字段分组的数量
05-05
可以使用 Elasticsearch Java API 中的 Aggregation API 来实现聚合查询某一字段分组的数量。具体步骤如下： 1. 创建一个 SearchRequest 对象，并设置索引及查询条件： ``` SearchRequest searchRequest = new ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值