搜索引擎
搜索引擎开发,Lucene/Solr/elasticsearch等搜索引擎和框架的开发学习。
狂飙的yellowcong
yellowcong
展开
-
Solr之精确、匹配、排序、模糊查询-yellowcong
Solr查询数据,其实下面一堆的参数,我也没有做测试,只是转载过来了,我大概只用了高亮、排序、查询、分页,其他的好像没有用过,以后用再来查转载 2017-12-06 17:52:37 · 17653 阅读 · 0 评论 -
Solr之集群管理Collection-yellowcong
Solr集群管理控制中,有添加分片和主备的配置,但是控制台上面,好象没有,句话疼。。。。文章中做了关于solr集群的集合(Collection)、分片(shards)、副本(replication)的添加和删除操作的实验。api其实挺简单的,就是一顿的复制粘贴,修改分片的参数。原创 2017-12-06 15:15:43 · 960 阅读 · 0 评论 -
Solr之ZooKeeper管理配置文件-yellowcong
Solr自己带有一个zookeeper的插件,存在于solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh目录下,可以很爽的进行文件的上传操作,下面简单的介绍了如何使用solr给我们提供的这个zkcli.sh客户端。原创 2017-12-06 17:45:05 · 3685 阅读 · 1 评论 -
Solr之java操作集群 -yellowcong
通过Java来操作Solr的集群,可以说和单机的模式都差不多,只是连接的对象是zookeeper服务器了,而不是直接连接的solr服务器。通过CloudSolrServer 连连接服务器,设定操作的集合Collection。然后其他的就和单机的一样了,问题点是,集群的,不能直接将所有的数据都查出,。。。尴尬了原创 2017-12-06 17:03:10 · 2538 阅读 · 1 评论 -
Solr之集群安装-yellowcong
基于Zookeeper进行Solr集群搭建,前提是需要将Zookeeper集群搭建。然后配置Solr服务,其中注意导入solr的配置文件的时候,<font color='red'>zkcli.sh脚本是solr的,而不是zookeeper自带的脚本</font>,搭建的时候,先配置好一个solr的环境后,然后复制粘贴整个目录,修改配置文件即可,不要一个一个节点的配置。原创 2017-12-06 13:06:53 · 772 阅读 · 0 评论 -
Solr之定时重建索引-yellowcong
定时更新solr的索引,通过interval 来设定的是多长事件建立索引。同时需要注意的是dataimport.properties的配置文件目录。<font color='red'>(测试的最简单方法,是将索引全部删除,然后就会自动将索引建立好了)</font>原创 2017-12-05 17:31:15 · 1018 阅读 · 0 评论 -
Solr之分页查询-yellowcong
分页查询的时候,只对添加start(哪儿开始)和rows(多少行)两个参数即可,通过设定SolrQuery.setStart 和SolrQuery.setRows ,来进行分页。分页操作在实际开发中,用得还是比较的多的。原创 2017-12-05 15:56:55 · 2613 阅读 · 1 评论 -
Solr之高亮显示-yellowcong
Solr高亮显示,通过高亮显示,来将重要的数据显示出来。高亮显示,在WEB的查询和检索中,会经常的用到,我们需要通过高亮的操作来显示关键字。操作的时候,将高亮的数据处理后,封装成对象后,再返回给调用者。原创 2017-12-05 15:23:10 · 1544 阅读 · 0 评论 -
Solr之IKAnalyzer中文分词器-yellowcong
IKAnalyzer分词器和Solr整合,在整合过程中,我发现Ik版本和Solr版本不兼容的问题,搞了半天,最怕的就是尼玛版本问题,导致莫名其妙的问题,菊花疼啊默认分词,发现字符分割有问题,是俺字符分割,所以需要使用中文分词器配置好IK后的分词效果原创 2017-12-04 12:01:16 · 433 阅读 · 0 评论 -
Solr之日志配置-yellowcong
如果部配置日志,出了错误,只能哭了,我刚开始一直报错,就是不知道错误在哪儿,在tomcat的log目录下,也没有数据,下面配置的日志方式是固定日志文件大小,滚动输出,不是一直追加的方式原创 2017-12-05 13:48:25 · 1873 阅读 · 0 评论 -
Solr之入门案例-yellowcong
Solr入门案例,通过java实现查询,添加,删除solr的索引的操作,特别需要注意的一点是,solr的jar版本需要通过服务器版本一致,不然又有错误问题,同时还要注意依赖包的问题。原创 2017-12-04 14:04:27 · 2392 阅读 · 0 评论 -
Solr之Mysql数据库全量、增量同步-yellowcong
Solr和数据库进行数据的同步,1、配置solrconfig.xml,2、配置data-config.xml,3.配置数据库(创建表和添加远程访问权限),4.配置schema.xml,5、添加jar包,6.系统时间和mysql时间同步,这样dataimport.properties 记录的更新索引时间和数据库时间一致,才能实现增量更新原创 2017-12-05 14:16:32 · 6026 阅读 · 0 评论 -
Solr之单机安装-yellowcong
这个solr的安装挺简单,就是将war包拷贝到tomcat的webapp目录,然后拷贝依赖包到tomcat的lib目录,配置solr的web.xml文件,就可以完成solr的安装了。如果没有安装tomcat环境可以参考, CentOS之Java安装-yellowcong 和CentOS之Tomcat的安装-yellowcong原创 2017-12-03 11:07:54 · 499 阅读 · 0 评论 -
Solr之基于注解开发-yellowcong
通过注解的方式来开发Solr,Solr中,提供了一个@Field注解,可以定义实体bean和索引的关系,然后直接添加实体Bean,进行数据查询,而不需要通过SolrInputDocument.addField 的方式进行数据的索引。需要重点注意的是1、实体类的id,必须是String类型的,在solr的schema.xml配置的2、注意schema.xml配置文件中,filed的multiValue原创 2017-12-04 15:46:09 · 2189 阅读 · 1 评论 -
Java之Luence工具类-yellowcong
我们需要通过索引管理类,获取到索引读取文件,然后通过索引查询类,查询Luence建立的索引原创 2017-07-17 07:49:00 · 612 阅读 · 0 评论 -
Lucene之入门案例-yellowcong
这个是一个简单的Lucene案例,基本包含了如何建立一个Lucene索引和如何读取Lecene的索引。原创 2017-12-02 13:23:36 · 1835 阅读 · 0 评论 -
Lucene之索引的创建和域选项-yellowcong
索引创建中,需要配置索引的内容是否存储和是否进行分词的操作。特别注意的是索引的NORMS,存储这索引的时间,以及索引的优先级,我们需要在添加索引的时,需要选择正确的索引策略。原创 2017-12-02 16:29:59 · 684 阅读 · 0 评论 -
Lucene之索引的增删改查-yellowcong
在Lucene中,索引被删除后,会在回收站的地方,不会立即清除,而且还有一点,获取删除条数,这个方法只能查出通过精确条件删除的数据,如果是`IndexWriter.deleteAll`方法删除的数据,是不进回收站这个地方的原创 2017-12-02 21:10:03 · 445 阅读 · 0 评论 -
Lucene之模糊、精确、匹配、范围、多条件查询-yellowcong
Lucene的查询方式很 丰富,对于数值类型的数据,采取TermRangeQuery的方式,对于String类型的,就可以采取TermQuery等,查询方式了,可以通过采取合适的查询方式,检索到数据。Queryparser这个查询方式包含了其他几种查询方式。原创 2017-12-03 13:13:10 · 25002 阅读 · 9 评论 -
Lucene之分页查询的三种方式-yellowcong
分页查询有三种,一种是直接查询出这页及这页以后的数据,第二种,查询这页以前的最后一条数据,然后再查询这页之后的数据,这种方式还不如第一种方法快,第三种,是根据一个id来进行分页,这种方式适合不变更的数据原创 2017-12-03 16:06:14 · 6055 阅读 · 0 评论 -
Lucene之索引查看工具Luke-yellowcong
Luke 这个工具,可以直接看到索引列表里面的信息,所以在开发过程中,很好用的哦原创 2017-12-03 12:19:46 · 7457 阅读 · 2 评论 -
Lucene之中文庖丁解牛(mmseg)分词器-yellowcong
庖丁解牛分词器,分词器和Lucene的版本需要注意,有可能有冲突,报错,我最开始是1.8.5的mmseg4j和一个lucene有冲突,后来,换了Mmseg4j版本后,就好了原创 2017-12-03 21:31:14 · 1226 阅读 · 0 评论 -
Lucene之中文分词器(IK-Ananlyzer)-yellowcong
IK分词全名为IK Analyzer,是由java编写的中文分词工具包,目前在lucene以及solr中用的比较多,采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和智能分词两种切分模式原创 2017-12-03 21:50:55 · 1655 阅读 · 0 评论 -
Lucene之显示分词信息-yellowcong
在学习自定义分词前,都需要了解分词的流程,以及如何显示分词的信息。 主要的几大分词器 1.StandardAnalyzer 标准分词器 2.SimpleAnalyzer 简单分词器 3.StopAnalyzer 停止分词器 4.WhiterSpaceAnalyzer 空格分词器原创 2017-12-03 17:38:11 · 531 阅读 · 0 评论 -
Lucene之高亮显示-yellowcong
高亮显示,在WEB的查询和检索中,会经常的用到,我们需要通过高亮的操作来显示关键字。操作的时候,将高亮的数据处理后,封装成对象后,再返回给调用者。原创 2017-12-03 22:14:26 · 601 阅读 · 0 评论