Lucene里面支持join操作

最新推荐文章于 2022-07-11 07:36:00 发布
最新推荐文章于 2022-07-11 07:36:00 发布
阅读量245 收藏
点赞数
分类专栏： lucene/solr/nuth/elasticsearch/MG4J 文章标签： lucene java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tao_wei162/article/details/84825348
版权

对于用惯数据库的我们，多表进行join连接，是非常常见的一个需求，但是在我们的索引中，对join的支持，却不是很完美，当然这并不是由于我们的Lucene或Solr不够强大，而是全文检索与数据库的定位不是在同一个目标上，全文检索，主要定位在搜索引擎上，通常是对一个大的索引进行高效检索，而数据库则是定位在结构化数据的存储于与检索，检索功能比较薄弱，那我们的索引是不是就不支持join了，实事并非如此，Lucene里面支持join操作，这种join定位在同一份索引里，而Solr作为Lucene的扩展，又提供了两core join的功能，下面散仙给出一个例子，尽量简单，清晰的描述出如何使用它们和理解它们的工作方式。 
有2个core，分别是collection1，和collection2，里面的数据分别是：
collection1:总共有3条数据
collection1：schema 都是字符串string ;  有id，name两个字段 ;
collection1： {1, Apple}, {2, Samsung}, {3, HTC}

collection2:总共有5条数据
collection2:schema 都是字符串string ;有id,name,brand_id 两个字段;
collection2: {1, iPhone, 1}, {2, iPad, 1}, {3, Galaxy S3, 2}, {4, Galaxy Note, 2}, {5, One X, 3}


下面，先来看下单core的join，以collection2作为例子，测试代码如下：

Java代码 复制代码  收藏代码
  1. /*** 
  2.  * join测试 
  3.  *  
  4.  *  
  5.  * ***/  
  6. public static void joinquery2()throws Exception{  
  7.     SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");  
  8.     SolrQuery sq=new SolrQuery();  
  9.     //sq.set("fl", "id,name");//过滤只需要返回的字段  
  10.      sq.set("q", "{!join from=id  to=brand_id }brand_id:*");  
  11.     QueryResponse qr=server1.query(sq, METHOD.POST);  
  12.      SolrDocumentList list=qr.getResults();  
  13.     System.out.println("命中结果集："+qr.getResults().size());  
  14.     for(SolrDocument s:list){  
  15.         System.out.println(s.toString());  
  16.     }  
  17. }  
/***
 * join测试
 * 
 * 
 * ***/
public static void joinquery2()throws Exception{
	SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");
	SolrQuery sq=new SolrQuery();
	//sq.set("fl", "id,name");//过滤只需要返回的字段
	 sq.set("q", "{!join from=id  to=brand_id }brand_id:*");
	QueryResponse qr=server1.query(sq, METHOD.POST);
	 SolrDocumentList list=qr.getResults();
	System.out.println("命中结果集："+qr.getResults().size());
	for(SolrDocument s:list){
		System.out.println(s.toString());
	}
}


运行结果如下：

Java代码 复制代码  收藏代码
  1. 五月 14, 2014 9:03:58 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient  
  2. INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false  
  3. 命中结果集：5  
  4. SolrDocument{id=1, name=iPhone, brand_id=1, _version_=1468079557386960896}  
  5. SolrDocument{id=2, name=iPad, brand_id=1, _version_=1468079557408980992}  
  6. SolrDocument{id=3, name=Galaxy, brand_id=2, _version_=1468079557412126720}  
  7. SolrDocument{id=4, name=Galaxy Note, brand_id=2, _version_=1468079557416321024}  
  8. SolrDocument{id=5, name=One X, brand_id=3, _version_=1468079557420515328}  
五月 14, 2014 9:03:58 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient
INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false
命中结果集：5
SolrDocument{id=1, name=iPhone, brand_id=1, _version_=1468079557386960896}
SolrDocument{id=2, name=iPad, brand_id=1, _version_=1468079557408980992}
SolrDocument{id=3, name=Galaxy, brand_id=2, _version_=1468079557412126720}
SolrDocument{id=4, name=Galaxy Note, brand_id=2, _version_=1468079557416321024}
SolrDocument{id=5, name=One X, brand_id=3, _version_=1468079557420515328}


改变，条件后，再测：

Java代码 复制代码  收藏代码
  1. /*** 
  2.  * join测试 
  3.  *  
  4.  *  
  5.  * ***/  
  6. public static void joinquery2()throws Exception{  
  7.     SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");  
  8.     SolrQuery sq=new SolrQuery();  
  9.     //sq.set("fl", "id,name");//过滤只需要返回的字段  
  10.      sq.set("q", "{!join from=id  to=brand_id }brand_id:2");  
  11.     QueryResponse qr=server1.query(sq, METHOD.POST);  
  12.      SolrDocumentList list=qr.getResults();  
  13.     System.out.println("命中结果集："+qr.getResults().size());  
  14.     for(SolrDocument s:list){  
  15.         System.out.println(s.toString());  
  16.     }  
  17. }  
/***
 * join测试
 * 
 * 
 * ***/
public static void joinquery2()throws Exception{
	SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");
	SolrQuery sq=new SolrQuery();
	//sq.set("fl", "id,name");//过滤只需要返回的字段
	 sq.set("q", "{!join from=id  to=brand_id }brand_id:2");
	QueryResponse qr=server1.query(sq, METHOD.POST);
	 SolrDocumentList list=qr.getResults();
	System.out.println("命中结果集："+qr.getResults().size());
	for(SolrDocument s:list){
		System.out.println(s.toString());
	}
}



运行结果如下：

Java代码 复制代码  收藏代码
  1. 五月 14, 2014 9:10:04 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient  
  2. INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false  
  3. 命中结果集：1  
  4. SolrDocument{id=5, name=One X, brand_id=3, _version_=1468079557420515328}  
五月 14, 2014 9:10:04 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient
INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false
命中结果集：1
SolrDocument{id=5, name=One X, brand_id=3, _version_=1468079557420515328}


分析运行原理，类似sql中的写法：

SELECT *
FROM collection1
WHERE brand_id IN (SELECT id FROM collection1 where brand_id = * )

第一步，先执行子查询SELECT id FROM collection1 where brand_id = *
会返回所有的id分别是，1,2,3,4,5
第二步，执行主查询就是

SELECT *
FROM collection1
WHERE brand_id  in (1,2,3,4,5)

而brand_id去重完之后，就只有1,2,3了，所以转换成如下查询：
SELECT *
FROM collection1
WHERE  brand_id(1,2,3)  in (1，2,3,4,5)

取并集后结果，就会命中brand_id=1,2,3的文档，所以就命中了所有的文档


再来分析下，第二个查询，指定查询id的join：
第一步，先执行子查询SELECT id FROM collection1 where brand_id = 2
会返回所有的id分别是，3,4,
第二步，执行主查询就是

SELECT *
FROM collection1
WHERE brand_id  in (3,4)

而brand_id去重完之后，就只有1,2,3了，所以转换成如下查询：
SELECT *
FROM collection1
WHERE  brand_id(1,2,3)  in  brand_id(3,4)

取并集后的结果，就会命中brand_id=3的文档了，所以就会返回ID为5的文档；




下面，来测下，两个core的join，代码如下：

Java代码 复制代码  收藏代码
  1. /*** 
  2.  * join测试 
  3.  *  
  4.  *  
  5.  * ***/  
  6. public static void joinquery2()throws Exception{  
  7.     SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection1");  
  8.     SolrQuery sq=new SolrQuery();  
  9.     //sq.set("fl", "id,name");//过滤只需要返回的字段  
  10.     sq.set("q", "{!join from=brand_id to=id fromIndex=collection2}name:iPad");  
  11.     QueryResponse qr=server1.query(sq, METHOD.POST);  
  12.      SolrDocumentList list=qr.getResults();  
  13.     System.out.println("命中结果集："+qr.getResults().size());  
  14.     for(SolrDocument s:list){  
  15.         System.out.println(s.toString());  
  16.     }  
  17. }  
/***
 * join测试
 * 
 * 
 * ***/
public static void joinquery2()throws Exception{
	SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection1");
	SolrQuery sq=new SolrQuery();
	//sq.set("fl", "id,name");//过滤只需要返回的字段
	sq.set("q", "{!join from=brand_id to=id fromIndex=collection2}name:iPad");
	QueryResponse qr=server1.query(sq, METHOD.POST);
	 SolrDocumentList list=qr.getResults();
	System.out.println("命中结果集："+qr.getResults().size());
	for(SolrDocument s:list){
		System.out.println(s.toString());
	}
}


结果如下：

Java代码 复制代码  收藏代码
  1. 五月 14, 2014 9:30:41 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient  
  2. INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false  
  3. 命中结果集：1  
  4. SolrDocument{id=1, name=Apple, _version_=1468079556974870528}  
五月 14, 2014 9:30:41 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient
INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false
命中结果集：1
SolrDocument{id=1, name=Apple, _version_=1468079556974870528}


分析类似如下SQL：

SELECT b.* FROM  collection1 b
       INNER JOIN collection2 p ON b.id=p.brand_id
       WHERE p.name="iPad";

注意collection名的先后顺序，如上solrj里面的执行，跟上面的sql的运行规则是一样的，所以我们最终的结果里，会返回，如果我们的条件是下面的相反组合：


Java代码 复制代码  收藏代码
  1. public static void joinquery()throws Exception{  
  2.     SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");  
  3.     SolrQuery sq=new SolrQuery();  
  4.      sq.set("q", "{!join from=id to=brand_id fromIndex=collection1}id:1");  
  5.     QueryResponse qr=server1.query(sq, METHOD.POST);  
  6.      SolrDocumentList list=qr.getResults();  
  7.     System.out.println("命中结果集："+qr.getResults().size());  
  8.     for(SolrDocument s:list){  
  9.         //s.toString();  
  10.         System.out.println(s.toString());  
  11.     }  
public static void joinquery()throws Exception{
	SolrServer server1=new HttpSolrServer("http://localhost:9003/solr/collection2");
	SolrQuery sq=new SolrQuery();
	 sq.set("q", "{!join from=id to=brand_id fromIndex=collection1}id:1");
	QueryResponse qr=server1.query(sq, METHOD.POST);
	 SolrDocumentList list=qr.getResults();
	System.out.println("命中结果集："+qr.getResults().size());
	for(SolrDocument s:list){
		//s.toString();
		System.out.println(s.toString());
	}



则运行结果如下所示：

Java代码 复制代码  收藏代码
  1. 五月 14, 2014 9:43:46 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient  
  2. INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false  
  3. 命中结果集：2  
  4. SolrDocument{id=1, name=iPhone, brand_id=1, _version_=1468079557386960896}  
  5. SolrDocument{id=2, name=iPad, brand_id=1, _version_=1468079557408980992}  
五月 14, 2014 9:43:46 下午 org.apache.solr.client.solrj.impl.HttpClientUtil createClient
INFO: Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false
命中结果集：2
SolrDocument{id=1, name=iPhone, brand_id=1, _version_=1468079557386960896}
SolrDocument{id=2, name=iPad, brand_id=1, _version_=1468079557408980992}


原理，依旧与如上的sql一样。只不过位置相反，调整了：

SELECT b.* FROM  collection2 b
       INNER JOIN collection1 p ON b.id=p.brand_id
       WHERE b.id=1;

第二十七篇：ES索引与知识图谱：构建智能问答系统
AI天才研究院
05-13 827
随着人工智能和大数据技术的快速发展，智能问答系统在各行各业中得到了广泛应用。智能问答系统通过自然语言处理（NLP）技术，能够理解用户的提问，并提供准确的答案。构建一个高效、智能的问答系统需要综合利用多种技术，其中ES（Elasticsearch）索引和知识图谱是两种关键技术。ES索引是一种高效的全文搜索引擎，能够快速检索和分析大量文本数据。知识图谱则是一种结构化的知识表示方法，通过节点和边的形式来表示实体及其关系。将ES索引与知识图谱结合，可以大幅提升问答系统的智能化和准确性。
mysql8操作语句
最新发布
qq_40787608的博客
03-19 3188
mysql8
Lucene连接查询（JoinQuery）
tinysakura的博客
08-18 1851
SpringMVC处理请求流程 SpringMVC核心处理流程： 1、DispatcherServlet前端控制器接收发过来的请求，交给HandlerMapping处理器映射器 2、HandlerMapping处理器映射器，根据请求路径找到相应的HandlerAdapter处理器适配器（处理器适配器就是那些拦截器或Controller） 3、HandlerAdapter处理器适配器，处理一...
lucene join解决父子关系索引
weixin_30252155的博客
04-11 164
http://www.cnblogs.com/LBSer/p/4417074.html 1 背景 以商家（Poi）维度来展示各种服务（比如团购（deal）、直连）正变得越来越流行（图1a）， 比如目前美食、酒店等品类在移动端将团购信息列表改为POI列表页展示。 图1 a：商家维度展示信息； b：join示意 这...
lucene 的两种join 方式
tyrmer的专栏
05-20 987
使用lucene进行筛选的场景往往不是简单的一个一个document的写入，document之间会有层级关系，比如美团筛选中的商家信息和deal信息，一个商家下面挂有多个deal的信息。进行筛选和排序的时候需要考虑商家的条件和deal的条件，比如通过价格排序就需要从deal纬度去考虑。 lucene提供了两种方式完成这种场景的筛选。 Index-time joins The index-
lucene query time join (关联搜索)
Xiao_Qiang_的专栏
07-23 3520
先看个图吧 注意：上图中的article_id可以理解为一个“外键” query  time join  已经在solr存在一段时间了但是lucene中有这个终归是好事，多一种选择嘛，实现这种关联的document还是很实用的，可以实现部分关联查询； 更新属性的时候也可以设计好结构，更新部分索引了。 这个解释有点费劲，还是看代码吧， final String idField
一步一步跟我学习lucene（18）---lucene索引时join和查询时join使用演示样例
weixin_34396103的博客
05-22 157
了解sql的朋友都知道，我们在查询的时候能够採用join查询，即对有一定关联关系的对象进行联合查询来对多维的数据进行整理。这个联合查询的方式挺方便的。跟我们现实生活中的托人找关系类似，我们想要完毕一件事。先找自己的熟人，然后通过熟人在一次找到其它，终于通过这样的手段找到想要联系到的人。有点类似于”世间万物皆有联系“的感觉。 lucene的join包提供了索引时join和查询时join的功...
Lucene基础
qq_20029829的博客
05-05 699
Lucene基础学习
Lucene 和 Kibana、ElasticSeach、Spring Data ElasticSearch
qq_40286307的博客
11-27 554
什么是全文检索 数据分类 生活中的数据总体分为两种：结构化数据和非结构化数据。 结构化数据 - 行数据，可以用二维表结构来逻辑表达实现的数据；指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据 - 指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件。 结构化数据搜索 常见的结构化数据也就是数据库中的数据。 在数据库中搜索很容易实现，通常都是使用 SQL 语句进行查询，而且能很快的得到查询结果。 客户端请求 ----> 连接器 连接器 ----> 缓存区 连接器 -
Python 操作 Elasticsearch 实现 增 删 改 查
墨鱼菜鸡
07-11 1014
Github 地址：https://github.com/elastic/elasticsearch-py/blob/master/docs/index.rst 官网地址：https://elasticsearch-py.readthedocs.io/en/latest/index.html Python-ElasticSearch，python对E...
lucene-join-7.2.1-API文档-中英对照版.zip
07-12
赠送jar包：lucene-join-7.2.1.jar； 赠送原API文档：lucene-join-7.2.1-javadoc.jar； 赠送源代码：lucene-join-7.2.1-sources.jar； 赠送Maven依赖信息文件：lucene-join-7.2.1.pom； 包含翻译后的API文档：lucene-join-7.2.1-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.lucene:lucene-join:7.2.1； 标签：apache、lucene、join、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
基于Solr的多表join查询加速方法
05-01
NULL 博文链接：https://mozhenghua.iteye.com/blog/2275318
一步一步跟我学习lucene（18）---lucene索引时join和查询时join使用示例
wuyinggui的专栏
06-04 3961
了解sql的朋友都知道，我们在查询的时候可以采用join查询，即对有一定关联关系的对象进行联合查询来对多维的数据进行整理。这个联合查询的方式挺方便的，跟我们现实生活中的托人找关系类似，我们想要完成一件事，先找自己的熟人，然后通过熟人在一次找到其他，最终通过这种手段找到想要联系到的人。有点类似于”世间万物皆有联系“的感觉。
elasticsearch Exception: org.apache.lucene.search.join.BitSetProducer
yangyangrenren的专栏
07-31 403
elasticsearch Exception: org.apache.lucene.search.join.BitSetProducer 加入compile(‘org.apache.lucene:lucene-join:6.3.1’)
Lucene学习笔记之（四）特定项进行搜索
孤师的博客
07-30 1798
步骤一：创建maven现目 步骤二：配置pom.xml文件，代码如下： junit junit 3.8.1 test org.apache.lucene
Lucene4.10.4实践 索引联合查询数据库实现查询更快
不要说术语，请说俗语
11-05 1563
需求 实习期间领导要我使用Lucene(不使用solr)将一个同事所要查询的数据索引起来，以达到更快的查询速度。 同事索要查询的数据共存在于两张表中，一张是街道表，一张是区划表。映射关系是一个区划对应N个街道。搜索效率要达到1秒千次。 数据库操作 SELECT area_id, area_name, parent_id, parent_name, area_leve
使用Solr进行添加时报错的解决方式
LazyTojava的博客
12-01 6341
DEBUG [main] - Creating new http client, config:maxConnections=128&maxConnectionsPerHost=32&followRedirects=false DEBUG [main] - Connection request: [route: {}->http://localhost:8055][total kept aliv
QueryDSL JPA 查询示例
来啊 快活啊
07-12 7796
发博词QueryDSL 及QueryDSL JPA重点关注对象，Expression，Expressions,ExpressionUtils,JPAExpressions，QBean,QList,QTuple,JPAQuery,Operation,,Projections,QueryResults等。查询示例1.//queryDSL查询返回一个对象QCustomer customer = QCust
边学边记（二）lucene 索引查询
一洽秦江利的专栏
05-25 1977
lucene 索引查询 步骤 首选我们要打开 索引的所在目录 索引目录可以是物理磁盘目录也可以是RAM 内存中的索引目录Eclipse的全文检索好像也是lucene做的 具体的没去看过代码 Ecilpse中的Maven的插件页使用了lucene对依赖库做了索引。根据定位的索引目录 创建IndexReader 来读取index了，具体方法：IndexReader open(fi
Lucene全文检索操作手册
4. **系统功能**：手册中列出了Lucene支持的一些主要功能，如数据采集与更新、系统检索、镜像浏览、索引管理和检索引擎的运行环境。这些功能涵盖了从获取数据到展示搜索结果的整个流程。 5. **运行环境**：手册提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值