现在项目现状:
使用查询和展示分离,应用在查询时,通过客户端请求服务端的servlet查询数据。
数据存储使用lucene和mongodb。
现在遇到的问题:
1、lucene查询时速度不够快,100W数据量需要5000ms左右。
解决方案一:将要索引的字段进行合并成一个大字段,在查询时只查询大字段。
解决方案二:做lucene时,生成一个sessionid,只存储该sessionid,对其他数据只索引不存储,将sessionid和其他数据存入oracle数据库。查询时,在lucene中只查询出sessionid,根据sessionid在oracle中查询详细数据。
这两种方案做下来效果都不是特别明显,小弟是不是在做时疏忽了什么,请各位大侠指点一二。
2、一键搜索页面,查询一次会发送大概100个请求到客户端的servlet,会出现有些项请求超时,等待超时。客户端设置见下代码:
服务端应用的tomcat配置见下代码:
小弟一直在这个问题纠结,没有想出好的解决方案。求助各位大牛。
使用查询和展示分离,应用在查询时,通过客户端请求服务端的servlet查询数据。
数据存储使用lucene和mongodb。
现在遇到的问题:
1、lucene查询时速度不够快,100W数据量需要5000ms左右。
解决方案一:将要索引的字段进行合并成一个大字段,在查询时只查询大字段。
解决方案二:做lucene时,生成一个sessionid,只存储该sessionid,对其他数据只索引不存储,将sessionid和其他数据存入oracle数据库。查询时,在lucene中只查询出sessionid,根据sessionid在oracle中查询详细数据。
这两种方案做下来效果都不是特别明显,小弟是不是在做时疏忽了什么,请各位大侠指点一二。
2、一键搜索页面,查询一次会发送大概100个请求到客户端的servlet,会出现有些项请求超时,等待超时。客户端设置见下代码:
HttpClient hc = new HttpClient(manager);
HttpConnectionManagerParams param = hc.getHttpConnectionManager().getParams();
param.setDefaultMaxConnectionsPerHost(126);
param.setMaxTotalConnections(300);
hc.getParams().setConnectionManagerTimeout(1*60*1000);
param.setConnectionTimeout(3*60*1000);
param.setSoTimeout(10*60*1000);
服务端应用的tomcat配置见下代码:
<Connector port="1080" protocol="org.apache.coyote.http11.Http11Protocol"
connectionTimeout="50000"
minSpareThreads="100" maxSpareThreads="500"
enableLookups="false" acceptCount="500"
redirectPort="8443" />
<Connector port="8443" protocol="org.apache.coyote.http11.Http11Protocol" SSLEnabled="true"
scheme="https" secure="true"
maxThreads="512"
connectionTimeout="50000"
minSpareThreads="100" maxSpareThreads="500"
enableLookups="false" acceptCount="500"
clientAuth="false" sslProtocol="TLS"
keystoreFile="conf/Server.p12" keystoreType="PKCS12"
truststoreFile="conf/Server.p12" truststoreType="PKCS12"
/>
小弟一直在这个问题纠结,没有想出好的解决方案。求助各位大牛。