搜索引擎
狂飙的yellowcong
yellowcong
展开
-
Java之Luence工具类-yellowcong
我们需要通过索引管理类,获取到索引读取文件,然后通过索引查询类,查询Luence建立的索引原创 2017-07-17 07:49:00 · 617 阅读 · 0 评论 -
Elasticsearch6.x之Kibana插件安装-yellowcong
kibana 是基于node.js的,所以在搭建kibana的时候,一定要配置好nodejs的环境,可以参考俺的Elasticserach6.x之Head插件安装-yellowcong ,里面提供了nodejs的安装和配置。这个Kibana可以说做得相当的好啊原创 2017-12-13 16:02:35 · 4840 阅读 · 1 评论 -
Elasticsearch6.x之Logstash安装-yellowcong
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析过滤(核心),并将其存储供以后使用。 logstash是一个数据分析软件,主要目的是分析log日志。整一套软件(LEK)可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。原创 2017-12-13 16:40:00 · 3698 阅读 · 0 评论 -
Solr之日志配置-yellowcong
如果部配置日志,出了错误,只能哭了,我刚开始一直报错,就是不知道错误在哪儿,在tomcat的log目录下,也没有数据,下面配置的日志方式是固定日志文件大小,滚动输出,不是一直追加的方式原创 2017-12-05 13:48:25 · 1878 阅读 · 0 评论 -
Solr之Mysql数据库全量、增量同步-yellowcong
Solr和数据库进行数据的同步,1、配置solrconfig.xml,2、配置data-config.xml,3.配置数据库(创建表和添加远程访问权限),4.配置schema.xml,5、添加jar包,6.系统时间和mysql时间同步,这样dataimport.properties 记录的更新索引时间和数据库时间一致,才能实现增量更新原创 2017-12-05 14:16:32 · 6036 阅读 · 0 评论 -
Solr之高亮显示-yellowcong
Solr高亮显示,通过高亮显示,来将重要的数据显示出来。高亮显示,在WEB的查询和检索中,会经常的用到,我们需要通过高亮的操作来显示关键字。操作的时候,将高亮的数据处理后,封装成对象后,再返回给调用者。原创 2017-12-05 15:23:10 · 1552 阅读 · 0 评论 -
Solr之分页查询-yellowcong
分页查询的时候,只对添加start(哪儿开始)和rows(多少行)两个参数即可,通过设定SolrQuery.setStart 和SolrQuery.setRows ,来进行分页。分页操作在实际开发中,用得还是比较的多的。原创 2017-12-05 15:56:55 · 2621 阅读 · 1 评论 -
Solr之定时重建索引-yellowcong
定时更新solr的索引,通过interval 来设定的是多长事件建立索引。同时需要注意的是dataimport.properties的配置文件目录。<font color='red'>(测试的最简单方法,是将索引全部删除,然后就会自动将索引建立好了)</font>原创 2017-12-05 17:31:15 · 1029 阅读 · 0 评论 -
Solr之单机安装-yellowcong
这个solr的安装挺简单,就是将war包拷贝到tomcat的webapp目录,然后拷贝依赖包到tomcat的lib目录,配置solr的web.xml文件,就可以完成solr的安装了。如果没有安装tomcat环境可以参考, CentOS之Java安装-yellowcong 和CentOS之Tomcat的安装-yellowcong原创 2017-12-03 11:07:54 · 500 阅读 · 0 评论 -
Solr之集群安装-yellowcong
基于Zookeeper进行Solr集群搭建,前提是需要将Zookeeper集群搭建。然后配置Solr服务,其中注意导入solr的配置文件的时候,<font color='red'>zkcli.sh脚本是solr的,而不是zookeeper自带的脚本</font>,搭建的时候,先配置好一个solr的环境后,然后复制粘贴整个目录,修改配置文件即可,不要一个一个节点的配置。原创 2017-12-06 13:06:53 · 776 阅读 · 0 评论 -
Solr之集群管理Collection-yellowcong
Solr集群管理控制中,有添加分片和主备的配置,但是控制台上面,好象没有,句话疼。。。。文章中做了关于solr集群的集合(Collection)、分片(shards)、副本(replication)的添加和删除操作的实验。api其实挺简单的,就是一顿的复制粘贴,修改分片的参数。原创 2017-12-06 15:15:43 · 976 阅读 · 0 评论 -
Solr之java操作集群 -yellowcong
通过Java来操作Solr的集群,可以说和单机的模式都差不多,只是连接的对象是zookeeper服务器了,而不是直接连接的solr服务器。通过CloudSolrServer 连连接服务器,设定操作的集合Collection。然后其他的就和单机的一样了,问题点是,集群的,不能直接将所有的数据都查出,。。。尴尬了原创 2017-12-06 17:03:10 · 2546 阅读 · 1 评论 -
Solr之ZooKeeper管理配置文件-yellowcong
Solr自己带有一个zookeeper的插件,存在于solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh目录下,可以很爽的进行文件的上传操作,下面简单的介绍了如何使用solr给我们提供的这个zkcli.sh客户端。原创 2017-12-06 17:45:05 · 3691 阅读 · 1 评论 -
Solr之精确、匹配、排序、模糊查询-yellowcong
Solr查询数据,其实下面一堆的参数,我也没有做测试,只是转载过来了,我大概只用了高亮、排序、查询、分页,其他的好像没有用过,以后用再来查转载 2017-12-06 17:52:37 · 17679 阅读 · 0 评论 -
Elasticsearch6.x之Bigdesk插件安装-yellowcong
Bigdesk直接可以通过python提供的http服务器,`python -m SimpleHTTPServer`运行,服务器运行,端口号是8000,默认情况下linux系统下安装过了python,所以下载下来压缩包,直接运行服务就可以了。原创 2017-12-13 15:14:20 · 6807 阅读 · 0 评论 -
Elasticserach6.x之Head插件安装-yellowcong
不得不说Elasticsearch是个坑,6.x的插件安装和2.x的真尼玛差别真的好大啊。下面写了详细的安装过程,以及安装过程中遇到的坑,希望大家引以为戒,在配置环境的时候,注意版本的问题,安装教程,把版本信息弄清楚。这个head插件依赖于nodejs,phantomjs原创 2017-12-13 14:40:42 · 3457 阅读 · 5 评论 -
Elasticsearch6.x之单机安装-yellowcong
单机安装Elasticsearch,这个elastic和solr争夺了 搜索引擎的半壁江山啊,elastic对于用户量大的搜索比solr还是强不少的,elastic本生就是分布式的,不需要依赖zookeeper,而且性能相对于Solr好,但是咋说,他们都是Lucene的框架,都得管Lucene叫爸爸,你说对吧。原创 2017-12-07 10:48:26 · 4889 阅读 · 6 评论 -
Lucene之入门案例-yellowcong
这个是一个简单的Lucene案例,基本包含了如何建立一个Lucene索引和如何读取Lecene的索引。原创 2017-12-02 13:23:36 · 1838 阅读 · 0 评论 -
Lucene之索引的创建和域选项-yellowcong
索引创建中,需要配置索引的内容是否存储和是否进行分词的操作。特别注意的是索引的NORMS,存储这索引的时间,以及索引的优先级,我们需要在添加索引的时,需要选择正确的索引策略。原创 2017-12-02 16:29:59 · 689 阅读 · 0 评论 -
Lucene之索引的增删改查-yellowcong
在Lucene中,索引被删除后,会在回收站的地方,不会立即清除,而且还有一点,获取删除条数,这个方法只能查出通过精确条件删除的数据,如果是`IndexWriter.deleteAll`方法删除的数据,是不进回收站这个地方的原创 2017-12-02 21:10:03 · 449 阅读 · 0 评论 -
Lucene之索引查看工具Luke-yellowcong
Luke 这个工具,可以直接看到索引列表里面的信息,所以在开发过程中,很好用的哦原创 2017-12-03 12:19:46 · 7482 阅读 · 2 评论 -
Lucene之模糊、精确、匹配、范围、多条件查询-yellowcong
Lucene的查询方式很 丰富,对于数值类型的数据,采取TermRangeQuery的方式,对于String类型的,就可以采取TermQuery等,查询方式了,可以通过采取合适的查询方式,检索到数据。Queryparser这个查询方式包含了其他几种查询方式。原创 2017-12-03 13:13:10 · 25086 阅读 · 9 评论 -
Lucene之分页查询的三种方式-yellowcong
分页查询有三种,一种是直接查询出这页及这页以后的数据,第二种,查询这页以前的最后一条数据,然后再查询这页之后的数据,这种方式还不如第一种方法快,第三种,是根据一个id来进行分页,这种方式适合不变更的数据原创 2017-12-03 16:06:14 · 6080 阅读 · 0 评论 -
Lucene之显示分词信息-yellowcong
在学习自定义分词前,都需要了解分词的流程,以及如何显示分词的信息。 主要的几大分词器 1.StandardAnalyzer 标准分词器 2.SimpleAnalyzer 简单分词器 3.StopAnalyzer 停止分词器 4.WhiterSpaceAnalyzer 空格分词器原创 2017-12-03 17:38:11 · 534 阅读 · 0 评论 -
Lucene之中文庖丁解牛(mmseg)分词器-yellowcong
庖丁解牛分词器,分词器和Lucene的版本需要注意,有可能有冲突,报错,我最开始是1.8.5的mmseg4j和一个lucene有冲突,后来,换了Mmseg4j版本后,就好了原创 2017-12-03 21:31:14 · 1232 阅读 · 0 评论 -
Lucene之中文分词器(IK-Ananlyzer)-yellowcong
IK分词全名为IK Analyzer,是由java编写的中文分词工具包,目前在lucene以及solr中用的比较多,采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和智能分词两种切分模式原创 2017-12-03 21:50:55 · 1659 阅读 · 0 评论 -
Lucene之高亮显示-yellowcong
高亮显示,在WEB的查询和检索中,会经常的用到,我们需要通过高亮的操作来显示关键字。操作的时候,将高亮的数据处理后,封装成对象后,再返回给调用者。原创 2017-12-03 22:14:26 · 605 阅读 · 0 评论 -
Solr之IKAnalyzer中文分词器-yellowcong
IKAnalyzer分词器和Solr整合,在整合过程中,我发现Ik版本和Solr版本不兼容的问题,搞了半天,最怕的就是尼玛版本问题,导致莫名其妙的问题,菊花疼啊默认分词,发现字符分割有问题,是俺字符分割,所以需要使用中文分词器配置好IK后的分词效果原创 2017-12-04 12:01:16 · 439 阅读 · 0 评论 -
Solr之入门案例-yellowcong
Solr入门案例,通过java实现查询,添加,删除solr的索引的操作,特别需要注意的一点是,solr的jar版本需要通过服务器版本一致,不然又有错误问题,同时还要注意依赖包的问题。原创 2017-12-04 14:04:27 · 2399 阅读 · 0 评论 -
Solr之基于注解开发-yellowcong
通过注解的方式来开发Solr,Solr中,提供了一个@Field注解,可以定义实体bean和索引的关系,然后直接添加实体Bean,进行数据查询,而不需要通过SolrInputDocument.addField 的方式进行数据的索引。需要重点注意的是1、实体类的id,必须是String类型的,在solr的schema.xml配置的2、注意schema.xml配置文件中,filed的multiValue原创 2017-12-04 15:46:09 · 2199 阅读 · 1 评论 -
Elasticsearch之开启外网访问-yellowcong
启动elastic 后,发现elastic不可以直接外网访问,需要修改elasticsearch.yml 配置文件,添加network.host 配置,才可以外方访问到原创 2017-12-07 13:14:34 · 32862 阅读 · 14 评论