2015年05月_javageekcoder

08月 07月 06月 05月

原创一步一步跟我学习lucene（16）---lucene搜索之facet查询查询示例（2）

本篇是接一步一步跟我学习lucene（14）---lucene搜索之facet索引原理和facet查询实例（http://blog.csdn.net/wuyinggui10000/article/details/45973769），上篇主要是统计facet的dim和每个种类对应的数量，个人感觉这个跟lucene的group不同的在于facet的存储类似于hash（key-field-value）形式的，而group则是单一的map（key-value）形式的，虽然都可以统计某一品类的数量，显然facet更具

2015-05-31 21:29:36 2739

原创 java redis使用之利用jedis实现redis消息队列

应用场景最近在公司做项目，需要对聊天内容进行存储，考虑到数据库查询的IO连接数高、连接频繁的因素，决定利用缓存做。从网上了解到redis可以对所有的内容进行二进制的存储，而java是可以对所有对象进行序列化的，序列化的方法会在下面的代码中提供实现。序列化java

2015-05-29 14:21:32 10845 3

原创一步一步跟我学习lucene（15）---java读取word excel pdf及lucene搜索之正则表达式查询RegExQuery和手机邮箱查询示例

今天快下班的时候收到了一个群友的问题，大意是读取文本文件中的内容，找出文件中的手机号和邮箱，我自己写了一个读取文档的内容的正则查询示例，用于匹配文件中是否含有邮箱或者手机号，这个等于是对之前的文本处理工具的一个梳理，同时结合lucene内部提供的正则匹配查询RegexQuery；废话不多说了，直接上代码，这里先对文件内容读取分类处理，分为pdf word excel 和普通文本四类，不同的种类

2015-05-28 00:49:17 3936 1

原创一步一步跟我学习lucene（14）---lucene搜索之facet查询原理和facet查询实例

我们在浏览网站的时候，经常会遇到按某一类条件查询的情况，这种情况尤以电商网站最多，以天猫商城为例，我们选择某一个品牌，系统会将该品牌对应的商品展示出来，效果图如下：如上图，我们关注的是品牌，选购热点等方面，对于类似的功能我们用lucene的term查询当然可以，但是在数据量特别大的情况下还用普通查询来实现显然会因为FSDirectory.open等耗时的操作造成查询效率的低下，同时普通查询是全

2015-05-26 00:03:56 4379

原创一步一步跟我学习lucene（13）---lucene搜索之自定义排序的实现原理和编写自己的自定义排序工具

自定义排序说明我们在做lucene搜索的时候，可能会需要排序功能，虽然lucene内置了多种类型的排序，但是如果在需要先进行某些值的运算然后在排序的时候就有点显得无能为力了；要做自定义查询，我们就要研究lucene已经实现的排序功能，lucene的所有排序都是要继承FieldComparator,然后重写内部实现，这里以IntComparator为例子来查看其实现；

2015-05-24 23:02:28 4776 1

原创一步一步跟我学习lucene（12）---lucene搜索之分组处理group查询

grouping介绍我们在做lucene搜索的时候，可能会用到对某个条件的数据进行统计，比如统计有多少个省份，在sql查询中我们可以用distinct来完成类似的功能，也可以用group by来对查询的列进行分组查询。在lucene中我们实现类似的功能怎么做呢，比较费时的做法时我们查询出所有的结果，然后对结果里边的省份对应的field查询出来，往set里边放，显然这种做法效率低，不可取；luc

2015-05-24 00:57:28 7332

原创一步一步跟我学习lucene（11）---lucene搜索之高亮显示highlighter

highlighter介绍这几天一直加班，博客有三天没有更新了，望见谅；我们在做查询的时候，希望对我们自己的搜索结果与搜索内容相近的地方进行着重显示，就如下面的效果这里我们搜索的内容是“一步一步跟我学习lucene”，搜索引擎展示的结果中对用户的输入信息进行了配色方面的处理，这种区分正常文本和输入内容的效果即是高亮显示；这样做的好处：视觉上让人便于查找有搜索对应的文本块；界面展

2015-05-22 00:20:34 7101

原创一步一步跟我学习lucene（10）---lucene搜索之联想词提示之suggest原理和应用

昨天了解了suggest包中的spell相关的内容，主要是拼写检查和相似度查询提示；今天准备了解下关于联想词的内容，lucene的联想词是在org.apache.lucene.search.suggest包下边，提供了自动补全或者联想提示功能的支持；InputIterator说明InputIterator是一个支持枚举term,weight,payload三元组的供suggester使

2015-05-17 23:44:32 5291 3

原创一步一步跟我学习lucene（9）---lucene搜索之拼写检查和相似度查询提示（spellcheck）

suggest应用场景用户的输入行为是不确定的，而我们在写程序的时候总是想让用户按照指定的内容或指定格式的内容进行搜索，这里就要进行人工干预用户输入的搜索条件了；我们在用百度谷歌等搜索引擎的时候经常会看到按键放下的时候直接会提示用户是否想搜索某些相关的内容，恰好lucene在开发的时候想到了这一点，lucene提供的suggest包正是用来解决上述问题的。suggest包联想词相关介绍

2015-05-16 22:02:19 4952

原创一步一步跟我学习lucene（8）---lucene搜索之索引的查询原理和查询工具类（支持分页）示例

昨天我们了解了lucene搜索之IndexSearcher构建过程（http://blog.csdn.net/wuyinggui10000/article/details/45698667），对lucene的IndexSearcher有一个大体的了解，知道了怎么创建IndexSearcher，就要开始学会使用IndexSearcher进行索引的搜索，本节我们学习索引的查询原理和根据其相关原理写索引查询工具类；加入了对分页查询的支持以及多目录索引查询的功能

2015-05-15 00:36:30 4705

原创一步一步跟我学习lucene（7）---lucene搜索之IndexSearcher构建过程

最近一直在写一步一步跟我学习lucene系列（http://blog.csdn.net/wuyinggui10000/article/category/3173543），个人的博客也收到了很多的访问量，谢谢大家的关注，这也是对我个人的一个激励，O(∩_∩)O哈哈~，个人感觉在博客的编写过程中自己收获了很多，我会一直继续下去，在工作的过程中自己也会写出更多类似系列的博客，也算是对自己只是

2015-05-13 23:34:44 6642 2

原创一步一步跟我学习lucene（6）---lucene索引优化之多线程创建索引

这两天工作有点忙，博客更新不及时，请大家见谅；前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁，这样势在lucene创建大数据量的索引的时候，执行效率低下的问题；查看前面文档一步一步跟我学习lucene（5）---lucene的索引构建原理可以看出，lucene索引的建立，跟以下几点关联很大；磁盘空间大小，这个直接影响索引的建立，甚至会造成索引写入提

2015-05-12 22:57:18 9570 1

原创一步一步跟我学习lucene（5）---lucene的索引构建原理

lucene创建索引的原理IndexWriter的addDocument方法详解今天看了IndexWriter类的addDocument方法，IndexWriter对此方法的说明如下：Adds a document to this index. Note that if an Exception is hit (for example disk full) then the ind

2015-05-10 22:35:31 4360

原创一步一步跟我学习lucene（4）---lucene的中文分词器jcseg和IK Analyzer分词器及其使用说明

为什么要使用lucene中文分词器在lucene的开发过程中，我们常会遇到分词时中文识别的问题，lucene提供了lucene-analyzers-common-5.0.0.jar包来支持分词，但多的是对英国，法国，意大利等过语言的支持，因此我们需要引入中文分词的概念。各种中文分词器及其对比jcseg中文分词器jcseg是使用Java开发的一款开源的中文分词器, 使

2015-05-09 20:10:46 5937 3

原创一步一步跟我学习lucene（3）---lucene的analysis相关和自定义分词器

lucene分词相关总结和自定义分词器已经停止词词典的维护,自定义分词

2015-05-08 00:00:33 5017

原创一步一步跟我学习lucene（2）---lucene的各种Field及其排序

lucene的各种Field及公共接口，Field使用示例,各种Field的特性,lucene排序

2015-05-06 18:27:57 13263 8

原创一步一步跟我学习lucene（1）---lucene的IndexWriter对象创建和索引策略的选择

lucene的索引构建原理，不同类型的FSDirectory和创建机制,lucene优点

2015-05-05 17:03:28 9769 1

一步一步跟我学习lucene（11）---lucene搜索之高亮显示highlighter

2015-05-22 00:20:00 365

一步一步跟我学习lucene（10）---lucene搜索之联想词提示之suggest原理和应用

2015-05-17 23:44:00 422

一步一步跟我学习lucene（9）---lucene搜索之拼写检查和相似度查询提示（spellcheck）...

2015-05-16 22:02:00 315

一步一步跟我学习lucene（8）---lucene搜索之索引的查询原理和查询工具类（支持分页）示例...

2015-05-15 00:36:00 363

一步一步跟我学习lucene（7）---lucene搜索之IndexSearcher构建过程

2015-05-13 23:34:00 253

一步一步跟我学习lucene（6）---lucene索引优化之多线程创建索引

2015-05-12 22:57:00 298

一步一步跟我学习lucene（5）---lucene的索引构建原理

2015-05-10 22:35:00 170

一步一步跟我学习lucene（4）---lucene的中文分词器jcseg和IK Analyzer分词器及其使用说明...

2015-05-09 20:10:00 217

一步一步跟我学习lucene（3）---lucene的analysis相关和自定义分词器

analysis说明lucene ananlysis应用场景lucene提供了analysis用来将文本转换到索引文件或提供给IndexSearcher查询索引；对于lucene而言，不管是索引还是检索，都是针对于纯文本输入来讲的；通过lucene的强大类库我们可以访问各种格式的文档，如HTML、XML、PDF、Word、TXT等，我们需要传递给lucene的只是文件中的纯文本...

2015-05-08 00:00:00 214

一步一步跟我学习lucene（2）---lucene的各种Field及其排序

Lucene的Field说明Lucene存储对象是以document为存储单元，对象中相关的属性值则存放到Field中；lucene中所有Field都是IndexableField接口的实现org.apache.lucene.index.IndexableFieldRepresents a single field for indexing. IndexWriter con...

2015-05-06 18:27:00 363

一步一步跟我学习lucene（1）---lucene的IndexWriter对象创建和索引策略的选择

应工作的需要（数据量大造成原有系统查询效率低），最近做了搜索引擎相关的内容，之前培训的时候对lucene即有接触，当时做的是3.x版本的，本人比较激进，毫不犹豫的选择了lucene5版本（15年刚发布的，O(∩_∩)O哈哈~）。lucene是一个开放源代码的全文搜索引擎开发工具包，提供了简单强大的搜索引擎接口，其优点如下：数据以索引文件的形式存储，索引文件可以跨平台，只要保证索引完整...

2015-05-05 17:03:00 198

高考数据库之专业分数线抓取

高考数据库之专业分数线抓取，人机模拟抓取https://gkcx.eol.cn/linespecialty?province=&zytype;=&schoolyear=2018&schoolpc;=&luqutype;=理科页面的数据

2019-06-11

kafka开发文档

Kafka开发文档-Kafka 是分布式、分区、可复制的提交日志服务。它采用独特的设计来实现消息服务系统。

2018-08-20

设计模式Java

Java版本设计模式，深入浅出系列 Java版本设计模式，深入浅出系列 Java版本设计模式，深入浅出系列

2018-08-08

elasticsearch6.3 xpack破解jar包

elasticsearch6.3 xpack破解jar包，需替换es_home下modules/x-pack/x-pack-core下的x-pack-core-6.3.0.jar文件，同时参考https://blog.csdn.net/lilongsy/article/details/78987784申请license并发送license注册申请即可使用，省略了破解jar包的步骤

2018-07-09

volatile讲解

volatile讲解，涉及硬件、jvm内存模型等层面，希望可以帮到大家

2018-06-11

design-pattern-java-2 设计模式-java版

设计模式-java版，内部包含相关类图，和相关模式的演进，希望可以帮到上进的你

2018-06-11

Java 7程序设计标准教程

Java7程序设计教程，包括Java的历史，数组、类、面向对象继承及对象创建过程中超类对象的创建及构造，静态字段、方法与初始化器，内嵌类、本地类与匿名类，异常处理等

2017-11-22

hadoop连接mysql数据库访问数据和导入数据

hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库

2015-08-07

一步一步跟我学习hadoop(6)----hadoop利用FileSystem API 执行hadoop文件读写操作

hadoop filesystem api常见使用说明

2015-08-02

一步一步跟我学习hadoop之hadoop命令手册

hadoop相关命令包括用户命令和管理命令

2015-07-11

lucene表达式处理查询

lucene表达式查询示例和表达式语法详解

2015-06-02

lucene facet查询示例

lucene facet查询示例，区间查询多dim查询，key-field-value模型了解

2015-05-31

lucene读取word excel pdf正则表达式查询

http://blog.csdn.net/wuyinggui10000/article/category/3173543 我的博客

2015-05-28

lucene分组查询优化facet

我的博客专栏http://blog.csdn.net/wuyinggui10000/article/category/3173543，希望大家关注

2015-05-26

lucene自定义排序实现

lucene自定义排序实现，大家有兴趣关注我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-24

lucene分组查询

lucene分组查询，大家有兴趣，查看我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-24

一步一步跟我学习lucene（12）---lucene搜索之分组处理group查询

一步一步跟我学习lucene是对近期做lucene索引的总结，

2015-05-24

一步一步跟我学习lucene（11）---lucene搜索之高亮显示highlighter

希望大家可以关注我的博客http://blog.csdn.net/wuyinggui10000/article/category/3173543

2015-05-22

lucene查询工具类和IndexSearcher分页查询示例

一步一步跟我学习lucene是对近期做lucene索引的总结，大家有问题的话联系本人如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家持续关注，会带给大家惊喜的

2015-05-15

lucene IndexSearcher相关和查询示例

一步一步跟我学习lucene是对近期做lucene索引的总结，大家有问题的话联系本人的Q-Q: 891922381，同时本人新建Q-Q群：106570134（lucene,solr,netty,hadoop），如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家持续关注，会带给大家惊喜的

2015-05-13

lucene索引优化多线程多目录创建索引

一步一步跟我学习lucene是对近期做lucene索引的总结，

2015-05-12

lucene中文分词器Jceseg和IK Analyzer使用示例

lucene中文分词器Jceseg和IK Analyzer使用示例,lucene5可以使用，本人亲测成功，大家放心用，喜欢lucene的人大家关注我的博客 http://blog.csdn.net/wuyinggui10000/article/category/3173543 大家共同交流，有需要的加群106570134

2015-05-09

一步一步跟我学习lucene（2）---lucene的各种Field源码

2015-05-06

一步一步跟我学习Lucene源码之lucene的各种Field

此博文是对近期做lucene索引的总结，（lucene,solr,netty,hadoop），如蒙加入，不胜感激，大家共同探讨,本人争取每日一博，希望大家关注呦

2015-05-06

eclipse svn插件

这个是eclipse的svn插件，直接解压缩到dropins目录就能用了

2013-10-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人