- 博客(28)
- 资源 (29)
- 收藏
- 关注
原创 一步一步跟我学习lucene(16)---lucene搜索之facet查询查询示例(2)
本篇是接一步一步跟我学习lucene(14)---lucene搜索之facet索引原理和facet查询实例(http://blog.csdn.net/wuyinggui10000/article/details/45973769),上篇主要是统计facet的dim和每个种类对应的数量,个人感觉这个跟lucene的group不同的在于facet的存储类似于hash(key-field-value)形式的,而group则是单一的map(key-value)形式的,虽然都可以统计某一品类的数量,显然facet更具
2015-05-31 21:29:36 2739
原创 java redis使用之利用jedis实现redis消息队列
应用场景最近在公司做项目,需要对聊天内容进行存储,考虑到数据库查询的IO连接数高、连接频繁的因素,决定利用缓存做。从网上了解到redis可以对所有的内容进行二进制的存储,而java是可以对所有对象进行序列化的,序列化的方法会在下面的代码中提供实现。序列化java
2015-05-29 14:21:32 10845 3
原创 一步一步跟我学习lucene(15)---java读取word excel pdf及lucene搜索之正则表达式查询RegExQuery和手机邮箱查询示例
今天快下班的时候收到了一个群友的问题,大意是读取文本文件中的内容,找出文件中的手机号和邮箱,我自己写了一个读取文档的内容的正则查询示例,用于匹配文件中是否含有邮箱或者手机号,这个等于是对之前的文本处理工具的一个梳理,同时结合lucene内部提供的正则匹配查询RegexQuery;废话不多说了,直接上代码,这里先对文件内容读取分类处理,分为pdf word excel 和普通文本四类,不同的种类
2015-05-28 00:49:17 3936 1
原创 一步一步跟我学习lucene(14)---lucene搜索之facet查询原理和facet查询实例
我们在浏览网站的时候,经常会遇到按某一类条件查询的情况,这种情况尤以电商网站最多,以天猫商城为例,我们选择某一个品牌,系统会将该品牌对应的商品展示出来,效果图如下:如上图,我们关注的是品牌,选购热点等方面,对于类似的功能我们用lucene的term查询当然可以,但是在数据量特别大的情况下还用普通查询来实现显然会因为FSDirectory.open等耗时的操作造成查询效率的低下,同时普通查询是全
2015-05-26 00:03:56 4379
原创 一步一步跟我学习lucene(13)---lucene搜索之自定义排序的实现原理和编写自己的自定义排序工具
自定义排序说明我们在做lucene搜索的时候,可能会需要排序功能,虽然lucene内置了多种类型的排序,但是如果在需要先进行某些值的运算然后在排序的时候就有点显得无能为力了;要做自定义查询,我们就要研究lucene已经实现的排序功能,lucene的所有排序都是要继承FieldComparator,然后重写内部实现,这里以IntComparator为例子来查看其实现;
2015-05-24 23:02:28 4776 1
原创 一步一步跟我学习lucene(12)---lucene搜索之分组处理group查询
grouping介绍我们在做lucene搜索的时候,可能会用到对某个条件的数据进行统计,比如统计有多少个省份,在sql查询中我们可以用distinct来完成类似的功能,也可以用group by来对查询的列进行分组查询。在lucene中我们实现类似的功能怎么做呢,比较费时的做法时我们查询出所有的结果,然后对结果里边的省份对应的field查询出来,往set里边放,显然这种做法效率低,不可取;luc
2015-05-24 00:57:28 7332
原创 一步一步跟我学习lucene(11)---lucene搜索之高亮显示highlighter
highlighter介绍这几天一直加班,博客有三天没有更新了,望见谅;我们在做查询的时候,希望对我们自己的搜索结果与搜索内容相近的地方进行着重显示,就如下面的效果这里我们搜索的内容是“一步一步跟我学习lucene”,搜索引擎展示的结果中对用户的输入信息进行了配色方面的处理,这种区分正常文本和输入内容的效果即是高亮显示;这样做的好处:视觉上让人便于查找有搜索对应的文本块;界面展
2015-05-22 00:20:34 7101
原创 一步一步跟我学习lucene(10)---lucene搜索之联想词提示之suggest原理和应用
昨天了解了suggest包中的spell相关的内容,主要是拼写检查和相似度查询提示;今天准备了解下关于联想词的内容,lucene的联想词是在org.apache.lucene.search.suggest包下边,提供了自动补全或者联想提示功能的支持;InputIterator说明InputIterator是一个支持枚举term,weight,payload三元组的供suggester使
2015-05-17 23:44:32 5291 3
原创 一步一步跟我学习lucene(9)---lucene搜索之拼写检查和相似度查询提示(spellcheck)
suggest应用场景用户的输入行为是不确定的,而我们在写程序的时候总是想让用户按照指定的内容或指定格式的内容进行搜索,这里就要进行人工干预用户输入的搜索条件了;我们在用百度谷歌等搜索引擎的时候经常会看到按键放下的时候直接会提示用户是否想搜索某些相关的内容,恰好lucene在开发的时候想到了这一点,lucene提供的suggest包正是用来解决上述问题的。suggest包联想词相关介绍
2015-05-16 22:02:19 4952
原创 一步一步跟我学习lucene(8)---lucene搜索之索引的查询原理和查询工具类(支持分页)示例
昨天我们了解了lucene搜索之IndexSearcher构建过程(http://blog.csdn.net/wuyinggui10000/article/details/45698667),对lucene的IndexSearcher有一个大体的了解,知道了怎么创建IndexSearcher,就要开始学会使用IndexSearcher进行索引的搜索,本节我们学习索引的查询原理和根据其相关原理写索引查询工具类;加入了对分页查询的支持以及多目录索引查询的功能
2015-05-15 00:36:30 4706
原创 一步一步跟我学习lucene(7)---lucene搜索之IndexSearcher构建过程
最近一直在写一步一步跟我学习lucene系列(http://blog.csdn.net/wuyinggui10000/article/category/3173543),个人的博客也收到了很多的访问量,谢谢大家的关注,这也是对我个人的一个激励,O(∩_∩)O哈哈~,个人感觉在博客的编写过程中自己收获了很多,我会一直继续下去,在工作的过程中自己也会写出更多类似系列的博客,也算是对自己只是
2015-05-13 23:34:44 6642 2
原创 一步一步跟我学习lucene(6)---lucene索引优化之多线程创建索引
这两天工作有点忙,博客更新不及时,请大家见谅;前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁,这样势在lucene创建大数据量的索引的时候,执行效率低下的问题;查看前面文档一步一步跟我学习lucene(5)---lucene的索引构建原理可以看出,lucene索引的建立,跟以下几点关联很大;磁盘空间大小,这个直接影响索引的建立,甚至会造成索引写入提
2015-05-12 22:57:18 9570 1
原创 一步一步跟我学习lucene(5)---lucene的索引构建原理
lucene创建索引的原理IndexWriter的addDocument方法详解今天看了IndexWriter类的addDocument方法,IndexWriter对此方法的说明如下:Adds a document to this index. Note that if an Exception is hit (for example disk full) then the ind
2015-05-10 22:35:31 4360
原创 一步一步跟我学习lucene(4)---lucene的中文分词器jcseg和IK Analyzer分词器及其使用说明
为什么要使用lucene中文分词器在lucene的开发过程中,我们常会遇到分词时中文识别的问题,lucene提供了lucene-analyzers-common-5.0.0.jar包来支持分词,但多的是对英国,法国,意大利等过语言的支持,因此我们需要引入中文分词的概念。各种中文分词器及其对比jcseg中文分词器jcseg是使用Java开发的一款开源的中文分词器, 使
2015-05-09 20:10:46 5937 3
原创 一步一步跟我学习lucene(3)---lucene的analysis相关和自定义分词器
lucene分词相关总结和自定义分词器已经停止词词典的维护,自定义分词
2015-05-08 00:00:33 5017
原创 一步一步跟我学习lucene(2)---lucene的各种Field及其排序
lucene的各种Field及公共接口,Field使用示例,各种Field的特性,lucene排序
2015-05-06 18:27:57 13263 8
原创 一步一步跟我学习lucene(1)---lucene的IndexWriter对象创建和索引策略的选择
lucene的索引构建原理,不同类型的FSDirectory和创建机制,lucene优点
2015-05-05 17:03:28 9769 1
一步一步跟我学习lucene(11)---lucene搜索之高亮显示highlighter
highlighter介绍这几天一直加班,博客有三天没有更新了,望见谅;我们在做查询的时候,希望对我们自己的搜索结果与搜索内容相近的地方进行着重显示,就如下面的效果这里我们搜索的内容是“一步一步跟我学习lucene”,搜索引擎展示的结果中对用户的输入信息进行了配色方面的处理,这种区分正常文本和输入内容的效果即是高亮显示;这样做的好处:视觉上让人便于查找有搜索对应的文本块;界面展...
2015-05-22 00:20:00 365
一步一步跟我学习lucene(10)---lucene搜索之联想词提示之suggest原理和应用
昨天了解了suggest包中的spell相关的内容,主要是拼写检查和相似度查询提示;今天准备了解下关于联想词的内容,lucene的联想词是在org.apache.lucene.search.suggest包下边,提供了自动补全或者联想提示功能的支持;InputIterator说明InputIterator是一个支持枚举term,weight,payload三元组的供suggester使...
2015-05-17 23:44:00 422
一步一步跟我学习lucene(9)---lucene搜索之拼写检查和相似度查询提示(spellcheck)...
suggest应用场景用户的输入行为是不确定的,而我们在写程序的时候总是想让用户按照指定的内容或指定格式的内容进行搜索,这里就要进行人工干预用户输入的搜索条件了;我们在用百度谷歌等搜索引擎的时候经常会看到按键放下的时候直接会提示用户是否想搜索某些相关的内容,恰好lucene在开发的时候想到了这一点,lucene提供的suggest包正是用来解决上述问题的。suggest包联想词相关介绍...
2015-05-16 22:02:00 315
一步一步跟我学习lucene(8)---lucene搜索之索引的查询原理和查询工具类(支持分页)示例...
昨天我们了解了lucene搜索之IndexSearcher构建过程(http://blog.csdn.net/wuyinggui10000/article/details/45698667),对lucene的IndexSearcher有一个大体的了解,知道了怎么创建IndexSearcher,就要开始学会使用IndexSearcher进行索引的搜索,本节我们学习索引的查询原理和根据其相关原理写索引...
2015-05-15 00:36:00 364
一步一步跟我学习lucene(7)---lucene搜索之IndexSearcher构建过程
最近一直在写一步一步跟我学习lucene系列(http://blog.csdn.net/wuyinggui10000/article/category/3173543),个人的博客也收到了很多的访问量,谢谢大家的关注,这也是对我个人的一个激励,O(∩_∩)O哈哈~,个人感觉在博客的编写过程中自己收获了很多,我会一直继续下去,在工作的过程中自己也会写出更多类似系列的博客,也算是对自己只是的一种积累;...
2015-05-13 23:34:00 253
一步一步跟我学习lucene(6)---lucene索引优化之多线程创建索引
这两天工作有点忙,博客更新不及时,请大家见谅;前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁,这样势在lucene创建大数据量的索引的时候,执行效率低下的问题;查看前面文档一步一步跟我学习lucene(5)---lucene的索引构建原理可以看出,lucene索引的建立,跟以下几点关联很大;磁盘空间大小,这个直接影响索引的建立,甚至会造成索引写入提示...
2015-05-12 22:57:00 298
一步一步跟我学习lucene(5)---lucene的索引构建原理
lucene创建索引的原理IndexWriter的addDocument方法详解今天看了IndexWriter类的addDocument方法,IndexWriter对此方法的说明如下:Adds a document to this index. Note that if an Exception is hit (for example disk full) then the i...
2015-05-10 22:35:00 170
一步一步跟我学习lucene(4)---lucene的中文分词器jcseg和IK Analyzer分词器及其使用说明...
为什么要使用lucene中文分词器在lucene的开发过程中,我们常会遇到分词时中文识别的问题,lucene提供了lucene-analyzers-common-5.0.0.jar包来支持分词,但多的是对英国,法国,意大利等过语言的支持,因此我们需要引入中文分词的概念。各种中文分词器及其对比jcseg中文分词器jcseg是使用Java开发的一款开源的中文分词器, 使...
2015-05-09 20:10:00 217
一步一步跟我学习lucene(3)---lucene的analysis相关和自定义分词器
analysis说明lucene ananlysis应用场景lucene提供了analysis用来将文本转换到索引文件或提供给IndexSearcher查询索引;对于lucene而言,不管是索引还是检索,都是针对于纯文本输入来讲的;通过lucene的强大类库我们可以访问各种格式的文档,如HTML、XML、PDF、Word、TXT等,我们需要传递给lucene的只是文件中的纯文本...
2015-05-08 00:00:00 214
一步一步跟我学习lucene(2)---lucene的各种Field及其排序
Lucene的Field说明Lucene存储对象是以document为存储单元,对象中相关的属性值则存放到Field中;lucene中所有Field都是IndexableField接口的实现org.apache.lucene.index.IndexableFieldRepresents a single field for indexing. IndexWriter con...
2015-05-06 18:27:00 363
一步一步跟我学习lucene(1)---lucene的IndexWriter对象创建和索引策略的选择
应工作的需要(数据量大造成原有系统查询效率低),最近做了搜索引擎相关的内容,之前培训的时候对lucene即有接触,当时做的是3.x版本的,本人比较激进,毫不犹豫的选择了lucene5版本(15年刚发布的,O(∩_∩)O哈哈~)。lucene是一个开放源代码的全文搜索引擎开发工具包,提供了简单强大的搜索引擎接口,其优点如下:数据以索引文件的形式存储,索引文件可以跨平台,只要保证索引完整...
2015-05-05 17:03:00 198
高考数据库之专业分数线抓取
2019-06-11
elasticsearch6.3 xpack破解jar包
2018-07-09
Java 7程序设计标准教程
2017-11-22
hadoop连接mysql数据库访问数据和导入数据
2015-08-07
lucene读取word excel pdf正则表达式查询
2015-05-28
lucene分组查询优化facet
2015-05-26
lucene自定义排序实现
2015-05-24
lucene分组查询
2015-05-24
一步一步跟我学习lucene(11)---lucene搜索之高亮显示highlighter
2015-05-22
lucene查询工具类和IndexSearcher分页查询示例
2015-05-15
lucene IndexSearcher相关和查询示例
2015-05-13
lucene中文分词器Jceseg和IK Analyzer使用示例
2015-05-09
一步一步跟我学习Lucene源码之lucene的各种Field
2015-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人