![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
solr
文章平均质量分 87
solr
yaoshengting
这个作者很懒,什么都没留下…
展开
-
Solr集群Replication配置与实践
转自:http://blog.csdn.net/shirdrn/article/details/7055355Solr作为一个搜索服务器,在并发搜索请求的场景下,可能一台服务器很容易就垮掉,这是我们可以通过使用集群技术,设置多台Solr搜索服务器同时对外提供搜索服务,在前端使用类似Nginx的负载均衡软件,可以通过配置使得并发到达的搜索请求均匀地反向代理到Solr集群中的每一台服务器上转载 2015-10-12 14:38:25 · 841 阅读 · 0 评论 -
SolrDispatchFilter.java
/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regardi转载 2015-11-04 10:18:20 · 997 阅读 · 0 评论 -
ZooKeeper监控
在公司内部,有不少应用已经强依赖zookeeper,zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作。目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响:用于zookeeper写日志的目录要有足够大小转载 2015-08-06 16:11:41 · 1010 阅读 · 0 评论 -
SolrCloud功能和架构 SolrCloud Features and Architecture
摘自:http://www.xuebuyuan.com/1742284.html英文:http://blog.sematext.com/2012/02/01/solrcloud-distributed-realtime-search/Some of the nicethings about SolrCloud are:centralized cluster config转载 2015-09-01 14:23:30 · 491 阅读 · 0 评论 -
solr4.3配置主从同步
分布式环境下,由于高并发的问题,通常我们需要部署多台服务器来负载均衡,从而避免,单点访问的热点问题,或者因负载过高而造成服务器瘫痪的问题等等。 solr4.x之后推出了solrcloud的分布式集群方案,与4.x之前的Master/Slave集群模式,架构上发生了重大变化,solrcloud不仅仅解决了,高并发的负载均衡问题,也解决了海量数据的检索性能问题,对一份巨大的索引,采用分而治之的方法转载 2015-08-06 15:36:54 · 564 阅读 · 0 评论 -
solrCloud分布式检索流程图
引用请声明原文:http://blog.csdn.net/duck_genuine/article/details/17014991solrCloud分布式检索主要流程如下:转载 2015-08-26 09:45:00 · 1363 阅读 · 0 评论 -
Solr主从集群配置简要说明
关于solr的集群主要分为主从和SolrCloud两种。主从,比较适合以读为主的场景。SolrCloud适合数据量大,时不时会有更新的情形。那么solr的主从配置很简单。在solrconfig.xml中找到 。这里的replication主要解决主从复制的。它主要实现:在主进行数据写操作,在slave节点进行读操作。当并发量大些,可以通过扩展slave节点数来应对,多个slave做一个反向代理和转载 2015-08-06 15:34:06 · 855 阅读 · 0 评论 -
solr Repeater(中转器)
当你的系统很庞大的时候可能会有很多个slave节点,这样如果每个slave节点都从远程下载索引会耗尽带宽。解决这个问题就需要用到Repeater这个概念,Repeater就是将master和slave配置到一个服务器上。这样一个slave负责从远程master上下载索引,局域网内其他的slave从这个Repeater上下载。转载 2015-08-31 16:25:35 · 595 阅读 · 0 评论 -
SolrCloud 4.3.1+Tomcat 7安装配置实践
文章摘自:http://blog.csdn.net/shirdrn/article/details/9718387我们使用Solr Replication可以实现Solr服务器的可用性,即使某一个索引副本由于磁盘介质故障或者误操作删除等,其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术,只能对一个索引进行管理维护,当索引数据达到一定规模,搜转载 2015-09-01 14:34:41 · 743 阅读 · 0 评论 -
solr no servers hosting shard 503 SolrCloud分布式检索时忽略宕机的Shard
“no servers hosting shard:503” 加入下面参数,只从存活的shards获取数据:shards.tolerant=true例如:explicittrue10text 没有打此参数,如果集群内有挂掉的shard,将显示:no servers hosting shard转载 2015-08-18 16:43:06 · 4055 阅读 · 0 评论 -
solr4.7.2 索引远程文件内容
我的项目需求如下,一张数据库表是存储我们上传的文档附件的,其中有一个字段fileurl是该附件下载的连接url,要求通过dih的方式将该连接对应的文档内容索引下来。首先在网上看了下面的三个博客文章挺有用的。http://iamyida.iteye.com/blog/2214905跟益达学Solr5之索引文件夹下所有文件http://iamyida.iteye.com原创 2015-08-13 11:13:26 · 3004 阅读 · 1 评论 -
Tika
1. Tika类 (1)tika类的基本用法detect:获取文档格式String detect(File | String | URL | InputStream)parse:获取Reader(Lucene的Field取值的参数,提供Reader是用于解决字符串过大的问题) parse(File | String | U转载 2015-08-14 13:29:05 · 1200 阅读 · 0 评论 -
Solr 文章集成
文章转自:http://blog.csdn.net/zhaoyue007101/article/details/47130007Solr 文章集成solr原理 solr wiki: http://wiki.apache.org/solr/分布式全文检索系统SolrCloud简介 http://my.oschina.net/004/blog/175768collectio转载 2015-08-14 13:16:40 · 453 阅读 · 0 评论 -
solrDispatchFilter过滤器解析
1>.SolrDispatchFilter实例化做的事情 过滤solr相关请求 找到solrHome [SolrDispatchFilter->SolrResourceLoader->Config] 2>.SolrDispatchFilter初始化做的事情 帮助初始化CoreContianer的一个内部类 [CoreContainer.Initial转载 2015-11-04 13:27:10 · 921 阅读 · 0 评论 -
solr搜索智能提示Suggest
solr1.4以后实现的智能提示,方便用户输入搜索 Suggest配置 Xml代码 searchComponent name="suggest" class="solr.SpellCheckComponent"> str name="queryAnalyzerFieldType">stringstr> lst nam转载 2015-11-06 15:44:51 · 1008 阅读 · 0 评论 -
分布式全文检索系统SolrCloud简介
文章转自:http://my.oschina.net/004/blog/175768前言本文简单描述SolrCloud的特性,基本结构和入门,基于Solr4.5版本。Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库。Solr是以Lucene为基础实现的文本检索应用服务。SolrCloud是Solr4.0版本开发出的具有开创意义的基于Solr转载 2015-08-14 16:51:08 · 557 阅读 · 0 评论 -
solr查询字段不等于,solr过滤条件查询
solr查询字段不等于,solr过滤条件查询 Solr中使用条件过滤某个字段值 SearchService service = new SearchService(); service.setServerName("product"); SolrQuery solrQuery = new SolrQuery(); solrQuery.setStart(new转载 2015-12-11 13:38:59 · 21995 阅读 · 0 评论 -
solr4.7的入门与相关配置
一、 Solr简介Solr是一个基于Lucene的Java搜索引擎服务器,可以理解为一个独立的服务器端程序。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式(包括 XML/XSLT 和 JSON 格式)。它易于安装和配置,而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用,较为成熟和稳定。Solr 包装并扩展了Lucene,所以Solr的基本上沿用了Luce转载 2015-10-12 15:48:06 · 854 阅读 · 0 评论 -
Extending query processing with search components
翻译 2015-11-12 20:29:32 · 385 阅读 · 0 评论 -
Request-handling overview 和 Search handler
翻译 2015-11-11 15:56:43 · 419 阅读 · 0 评论 -
Solr4.7以DIH的方式从数据库导数据
Solr4.7以DIH的方式从数据库导数据实际工程应用中,从数据库导出数据创建索引再常见不过了,现在实验一下从数据库导入数据创建索引一、版本说明Solr版本:4.7.0数据库:sqlserver2005二、配置步骤1、 准备的jar包1) solr-dataimporthandler-extras-4.7.0.jar;在solr发布包solr-4.7.0\dist里转载 2015-10-12 15:27:22 · 1580 阅读 · 0 评论 -
在Solr4.10配置IKAnalyzer 同义词、扩展词库、停顿词详解
在Solr4.10配置IKAnalyzer同义词、扩展词库、停顿词详解在配置IKAnalyzer 同义词,扩展词,停顿词时,出现了很麻烦的事情,搞了一段时间,因为现在直接从官网上下载下来的IKAnalyzer是能够直接的进行中文的分词,但是进行useSmart参数控制,及同义词,扩展词,停顿词的配置则需要对IKAnalyzer的jar包进行修改才可以使用。我使用的IKAnalyzer的ja原创 2015-10-12 14:56:12 · 2199 阅读 · 1 评论 -
Overview of solrconfig.xml 之 Common XML data-structure and type elements
翻译 2015-11-11 15:53:44 · 365 阅读 · 0 评论 -
Solr智能提示autosuggest
solr的智能提示autosuggest是需要依赖spell-check组件的,但是autosuggest和spell-check又是有区别的,下面的内容是从《solr in action》摘抄下来的。spell-check是在10.1章中讲解的,spell-check的功能就是对你输入的词进行拼写检查,也会配置相应的词典库,并且会进行select搜索,并提示“你是不是要搜索......”等。原创 2015-11-11 14:32:14 · 1364 阅读 · 0 评论 -
Solr查询参数QueryParam
1. CoreQueryParam查询的参数1) q: 查询字符串,必须的。2) q.op: 覆盖schema.xml的defaultOperator(有空格时用”AND”还是用”OR”操作逻辑),一般默认指定。3) df: 默认的查询字段,一般默认指定。4) qt: query type,指定查询使用的Query Handler,默认为“standard”。转载 2015-11-11 15:23:07 · 2515 阅读 · 0 评论 -
Solr Using n-grams for suggestions
N-grams N-gram分析会根据配置中指定的子中最小最大长度,将一个词的最小到最大的子串全部得到,比如Tonight这个单词,如果NGramFilterFactory配置中指定了minGramSize为2,maxGramSize为5,那么会产生下面的索引词:(2-grams):To, on , ni, ig, gh, ht,(3-grams):ton, oni转载 2015-11-10 16:35:00 · 1258 阅读 · 0 评论 -
solr集群配置中遇到的问题及说明
参数说明:#######################################zoo.cfg的配置######################################################## # 心跳检查的时间 2秒 zookeeper中使用的基本时间单位, 毫秒值 tickTime=2000 # 初始化时 连接到服务器端的间隔次数原创 2015-10-09 13:42:28 · 6646 阅读 · 1 评论 -
Lucene和Solr 学习目录
几个概念先行说明一下:Lucene: 是一个索引与搜索类库,而不是完整的程序。Solr:是一个高性能,采用Java5开发,基于Lucene的一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。Nutch:是一个由Java实现的,刚刚诞生开放源代码(open-source)的web搜索引擎。Hadoop: 实现了一个分布式文件系统(Had转载 2015-10-23 15:04:42 · 601 阅读 · 0 评论 -
结合Apache和Tomcat实现集群和负载均衡
自己是根据下面的文章去配置的,有一点需要提醒在workers.properties中配置tomcat的host的时候,如果是在本机的话,我们常喜欢使用localhost,但是有时候localhost不好使,要用127.0.0.1就因为这个让我多花了一些时间文章转自:http://blog.csdn.net/kypfos/article/details/3081330也可以参转载 2015-08-20 16:17:12 · 339 阅读 · 0 评论 -
日期的处理
DateField 表示一个精确到毫秒的时间,值的格式是:YYYY-MM-DDThh:mm:ssZYYYY 表示年.MM 表示月.DD 表示日.hh 表示24小时制的小时.mm 表示分钟.ss 表示秒.值的注意的是上面的那个时间格式里没有时区;带时区的时间格式可以通过格林尼治时间表示。这里是一个示例的值:1972-05-20T17:33:18Z另一个带毫秒的转载 2015-06-15 09:21:04 · 509 阅读 · 0 评论 -
Solrj和Solr DIH索引效率对比分析
测试软件环境: 1、16G windows7 x64 32core cpu 。 2、jdk 1.7 tomcat 6.x solr 4.8数据库软件环境: 1、16G windows7 x64 32core cpu 。 2、Oracle 11g 一、Solr默认索引工具DIH。 使用Solr DIH索引数据,转载 2015-07-29 08:40:54 · 1197 阅读 · 0 评论 -
solr与zookeeper搭建solrcloud分布式索引服务实例
安装前准备http://mirrors.hust.edu.cn/apache/zookeeper/ http://apache.fayea.com/apache-mirror/tomcat/tomcat-7/v7.0.55/src/ https://issues.apache.org/jira/secure/attachment/12436620/ZooIn转载 2015-08-26 15:06:48 · 570 阅读 · 0 评论 -
Solrj操作Solr4.0 中CloudSolrServer
Solrj操作Solr4.0 中CloudSolrServer的一般过程一、准备工作:创建eclipse工程1. 下载solr4.0_src的源码包,解压后,进入目录中,在命令行执行:ant eclipse 则可以生成一个eclipse工程,会在目录中多了关于eclipse工程的文件:.classpath 和 .project;在eclipse导入该生成的工程(转载 2015-08-25 18:46:22 · 661 阅读 · 0 评论 -
企业级搜索引擎Solr 第三章 索引数据(Indexing Data)[2]
文章转自:http://quweiprotoss.blog.163.com/blog/static/4088288320129262412997/?utm_source=tuicoolThe Data Import Handler Framework Solr有一个非常流行的contrib模块DataImportHandler(DIH),它是用于导入数据的。它是转载 2015-08-12 11:09:03 · 1147 阅读 · 0 评论 -
SolrJ 操作HttpSolrServer, ConcurrentUpdateSolrServer和CloudSolrServer
问题导读:1、如何实现SolrJ线程池连接数据库?2、如何实现SolrJ的CRUD操作?HttpSolrServer 使用了Apache Commons HTTP客户端来连接Solr. 注意在Solr 4.x中,CommonsHttpSolrServer已经改变为HttpSolrServer以及StreamingUpdateSolrServer已经改变为Concur转载 2015-08-25 19:21:54 · 3714 阅读 · 0 评论 -
CloudSolrServer
在solrcloud出来之前,如果通过solrj连接solrserver,需要程序自己实现一致性hash.新版本的solr支持cloud的部署方式,可以自动实现lb和sharding的功能(通过CloudSolrServer类连接cloud),可以用下面代码做测试需要的jar包如下:12345678转载 2015-08-25 18:23:35 · 2274 阅读 · 0 评论 -
QPS 与 TPS
QPS:Queries Per Second意思是“每秒查询率”,是一台服务器每秒能够响应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 TPS是TransactionsPerSecond的缩写,也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此转载 2015-08-11 08:49:12 · 385 阅读 · 0 评论 -
solr4性能优化实践参考
Solr的性能在solr4版本之后的得到了极大的提升,在使用过程中,尽量使用新的版本,在实践中总结的一些性能优化参考,不同的业务场景需求,优化的方式会不一样。在设计field schema的时,需要关注indexed、stored、omitNorms这几个属性的值;indexed对索引的内存使用,segment的合并,索引的optimize,以及索引的大小都有影响,所以对于不需要索引的字段转载 2015-08-10 16:29:03 · 1404 阅读 · 0 评论 -
SOLR问答
问:1、我看有的人这么写indexed = true ,stroed=false,还有人写indexed=false,stored=true,我有点不明白,可以索引,为什么不存储呢?那有一篇文章,有10万字,设置为indexed = true ,stroed=false,那占不占空间啊? 说到底,还是不明白index和store的意思 答:索引储存的是分词之后的结果,一项、一项存储的,不是转载 2015-08-10 16:00:04 · 496 阅读 · 0 评论 -
指尖上的电商---(6)solrconfig.xml配置详解
solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置。 可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf 1.datadir节点转载 2015-08-10 15:43:12 · 548 阅读 · 0 评论