关注
分享
xiaojimanman
不积跬步，无以至千里不积小流，无以成江海~个人博客站点：www.llwjy.com
展开
-
基于lucene的案例开发：纵横小说分布式采集
之前我们已经介绍了如何采集纵横小说网站上的信息以及如何把这些信息持久化到数据库中；那么如何使用这些实现分布式采集？各个模块之间如何完美的配合完成各自的功能？这一篇博客将会做出完美的解答原创 2015-07-09 10:23:46 · 3241 阅读 · 0 评论 -
基于lucene的案例开发：纵横小说数据库操作
本篇博客介绍了如何基于DBServer实现数据库的增改查操作，为后面的分布式采集做好基础准备原创 2015-07-07 09:46:07 · 3086 阅读 · 0 评论 -
基于lucene的案例开发：纵横小说数据库设计
本文通过纵横中文小说网为例，介绍如何实现分布式采集的数据库设计；介绍四个采集模块之间的关系，以及他们采集的信息如何存储原创 2015-05-13 16:14:17 · 8786 阅读 · 0 评论 -
基于lucene的案例开发：纵横小说阅读页采集
本文介绍了如何通过CrawlBase来实现纵横小说阅读页信息的采集，加上之前的三篇博客就完成了对纵横小说的信息采集，之后会给出具体的main方法，来实现整个流程的运行~原创 2015-04-08 10:40:58 · 2919 阅读 · 0 评论 -
基于lucene的案例开发：纵横小说章节列表采集
本文介绍了如何通过CrawlBase来实现纵横小说章节列表页信息的采集，同时提供了对于无法右键查看网页源代码网页的信息采集方案原创 2015-04-03 14:38:49 · 2838 阅读 · 0 评论 -
基于lucene的案例开发：纵横小说简介页采集
本文通过对纵横小说简介页源代码的分析，介绍了如何通过CrawlBase来采集相关信息原创 2015-04-03 10:45:20 · 3214 阅读 · 1 评论 -
基于lucene的案例开发：纵横小说更新列表页抓取
本文以纵横中文小说网的更新列表页为例，详细的介绍了如何通过HttpClient去采集更新列表页的内容，介绍如何使用自建类CrawlListPageBase以及如何处理非预期BUG原创 2015-04-02 14:38:55 · 3360 阅读 · 0 评论 -
基于lucene的案例开发：查询语句创建PackQuery
提供了lucene中的query对象的多种创建方法，如单词单域、单词多域、模糊查询、范围查询、距离查询等原创 2015-03-26 21:36:23 · 2718 阅读 · 2 评论 -
基于lucene的案例开发：实时索引的修改
实时索引中的IndexWriter的操作都是委托给TrackingIndexWriter来操作，这里就对实时索引中的增删改操作进行进一步的封装，实现实时索引的基本操作原创 2015-03-15 20:52:42 · 3857 阅读 · 0 评论 -
基于lucene的案例开发：实时索引的检索
我们之前已经介绍了IndexSearcher中的检索方法，也介绍了如何基于lucene中的NRT*类去创建实时索引，这里我们就重点介绍下基于实时索引的检索方案，实现NRTSearch基类原创 2015-03-15 20:14:06 · 3352 阅读 · 0 评论 -
基于lucene的案例开发：实时索引管理类IndexManager
基于lucene中的NRT*类实现实时索引：将IndexWrite的相关操作委托给TrackingIndexWriter来处理；开启内存索引重读线程和内存数据commit线程；获取最新可用的IndexSearcher；另类的单例模式实现加载多个索引原创 2015-03-02 11:12:13 · 3761 阅读 · 4 评论 -
基于lucene的案例开发：实现实时索引基本原理
介绍Lucene实现实时索引的基本原理，通过几幅简单的图片，介绍了实时索引实现的过程；同时还给出了该系列中的索引的配置类实现原创 2015-02-28 11:04:14 · 5159 阅读 · 0 评论 -
基于lucene的案例开发：数据库连接池
通过java程序去连接数据库时，使用的协议是TCP/IP协议，TCP/IP协议需要进行3次握手。如果每一次数据库操作都需要创建一个新的连接，都要进行3次握手，这是十分浪费资源的，程序的效率也不是很高，数据库连接池就很好的解决了这个问题原创 2015-01-29 16:43:33 · 3025 阅读 · 0 评论 -
基于lucene的案例开发：ParseUtil & ParseRequest
介绍将字符串转化为数值的工具类ParseUtil 和 获取request参数值类ParseRequest，这两个类在做后台项目中还是比较有用的。原创 2015-01-27 22:34:47 · 2610 阅读 · 0 评论 -
基于lucene的案例开发：ClassUtil & CharsetUtil
介绍ClassUtil类和CharsetUtil类，这两个也是项目中比较常用的类，一个用于指定文件路径，一个用于检测文件的编码方式。原创 2015-01-27 21:19:58 · 2848 阅读 · 0 评论 -
基于lucene的案例开发：JsonUtil & XmlUtil
json数据格式和xml格式数据的处理方法，以及将javabean转化为json数据或xml数据原创 2015-01-27 14:02:53 · 3819 阅读 · 4 评论 -
基于lucene的案例开发：案例初识
博客对案例的整体简单的介绍，明白整个案例的目的是什么？最终的产品大概是什么样子？以及每个部分是基于什么技术做的开发。原创 2015-01-27 10:56:27 · 4060 阅读 · 0 评论 -
基于lucene的案例开发：更新说明
转载请注明出处：http://blog.csdn.net/xiaojimanman/article/details/43154813 这系列博客从小说的采集、搜索、展示等多方面的介绍基于lucene站内搜索的开发过程，前面已介绍完毕第一部分，由于白天需要工作，一些博客内容需要晚上或者上班奸细进行整理，所以更新速度上难免会有点慢。 到现在为止，利用上周末的时间，原型和数据原创 2015-01-26 17:16:38 · 2378 阅读 · 0 评论 -
基于lucene的案例开发：IndexSearcher中检索方法
lucene最主要的功能在于其搜索，在搜索过程中可能会使用到Query、Filter、Sort、ScoreDoc、Collector等，本文从这些角度介绍了一些常用的搜索方法，同时还介绍了索引的增删改接口。原创 2015-01-23 11:16:22 · 7762 阅读 · 0 评论 -
基于lucene的案例开发：Query查询
在Lucene索引的搜索过程中，构建Query对象是一个十分重要的过程，在这篇博客中，我们将重点介绍几种常用的Query子类：QueryParser、MultiFieldQueryParser、TermQuery、PrefixQuery、PhraseQuery、WildcardQuery、TermRangeQuery、NumericRangeQuery、BooleanQuery原创 2015-01-21 16:03:19 · 4583 阅读 · 2 评论 -
基于lucene的案例开发：分词器介绍
在lucene创建索引的过程中，分词技术是一个十分重要的环节，介绍了7中比较常见的分词技术 CJKAnalyzer、KeywordAnalyzer、SimpleAnalyzer、StopAnalyzer、WhitespaceAnalyzer、StandardAnalyzer、IKAnalyzer原创 2015-01-20 14:19:39 · 7734 阅读 · 6 评论 -
基于lucene的案例开发：搜索索引
通过简单的事例介绍了如何去搜索Lucene索引，同时还介绍了索引搜索过程中的几个核心类：Directory、DirectoryReader、IndexSearcher、Analyzer、Query、TopDocs原创 2015-01-19 22:06:13 · 3055 阅读 · 2 评论 -
基于lucene的案例开发：创建索引
通过简单的事例，介绍了如何创建Lucene索引，同时还介绍了在索引创建过程中的几个核心类：IndexWriter、Directory、Analyzer、Document、Field。原创 2015-01-19 14:49:24 · 5455 阅读 · 5 评论 -
基于lucene的案例开发：索引文件结构
lucene索引文件有一定的层次结构，有索引、段、文档、域、词五个层次；索引文件不仅保存了正向信息，同时还保存了反向信息。原创 2015-01-18 16:19:21 · 2819 阅读 · 1 评论 -
基于lucene的案例开发：索引数学模型
lucene将一篇文档分成若干个域，每个域又分成若干个词元，通过词元在文档中的重要程度，将文档转化为N维的空间向量，通过计算两个向量之间的夹角余弦值来计算两个文档的相似程度原创 2015-01-18 00:13:15 · 2801 阅读 · 5 评论 -
基于lucene的案例开发：lucene初始认知
通过简单的事例介绍了数据的分类以及如何对非结构化数据进行检索原创 2015-01-17 13:23:22 · 2639 阅读 · 4 评论 -
基于lucene的案例开发：写在开始之前
从小说采集、索引、展示系统的介绍如何基于lucene开发一个站内搜索系统。自己在系统总结的同时，也希望各位看客能从中学习到一些东西，大家共同进步。原创 2015-01-17 12:07:16 · 1955 阅读 · 5 评论