solr:5.1
使用Java的同学可以使用solrj操作solr,但是python就没有太好的操作solr的模块了。虽然也能找到几个,例如solrpy,但是由于年久失修,基本不能使用。
如果是对solr进行查询操作,其实非常简单,只需要完成一次get请求就可以了,最初接触python时,就是在浏览器里进行查询操作。
既然没有太好用的模块,就自己摸索着写一个吧,只需能完成工作中的特定工作内容就可以了。
对solr索引的添加,删除,可以发送post请求。post的内容呢,是xml格式的。例如<add><doc><field name="id">4</field></doc></add> 将这段内容post到
solr服务器,服务器那边就会进行新增处理了,但是这个时候你还无法搜索到,因为还缺少一个<commit/>,把这个<commit/>也post过去后,服务器才会让之前的更新生效,delete也一样的简单,看源码就了解了。
你的core的地址如果是这样的:http://localhost:8080:/solr/user 那么我们最终访问的网址是http://localhost:8080:/solr/user/update/
我这里调用addDoc时,是每三万条提交一次,如果每个doc都提交,那么每次都需要进行http连接,很浪费性能的,但是呢,这里也有一个隐患,那就是tomcat服务器一次最大能够处理的post请求如果小于我们实际提交的请求,就会出错。这里说的能处理的最大请求不是指doc的数量,而是post到服务器的数据的大小。这和浏览器对url的长度有限制一样,其实服务器对post请求的实际传输数据的大小也是有限制的。具体的限制可以进行配置,不过我没有在自己的tomcat配置里找到,希望它永远不会超过那个默认配置。。。。。
- #coding=utf-8
- '''''
- Created on 2015-10-9
- Solr5.1亲测可行
- @author: kwsy2015
- '''
- import urllib2
- from xml.sax.saxutils import escape, quoteattr
- class MySolrPy():
- def __init__(self,solrurl):
- self.solrurl = solrurl+'/update/'
- print self.solrurl
- self.docs = []
- self.size = 0
- #添加新的文档
- def add(self,doc):
- self.docs.append(doc)
- self.size += 1
- if self.size>=30000:
- print self.size
- self.commit()
- self.docs = []
- self.size = 0
- #提交数据
- def _commit(self,data):
- requestAdd = urllib2.Request(
- url=self.solrurl,
- headers={'Content-type':'text/xml; charset=utf-8'},
- )
- requestCommit = urllib2.Request(
- url=self.solrurl,
- headers={'Content-type':'text/xml'},
- )
- opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
- responseAdd = opener.open(requestAdd,data)
- responseCommit = opener.open(requestCommit,'<commit/>')
- #根据指定的id删除索引
- def delDoc(self,id):
- lst = [u'<delete><id>']
- lst.append('%s' % (escape(unicode(id))))
- lst.append(u'</id></delete>')
- data = ''.join(lst)
- self._commit(data)
- #删除所有数据
- def delAll(self):
- delCommond = '<delete><query>*:*</query></delete>'
- self._commit(delCommond)
- #用于新增索引时提交数据
- def commit(self):
- lst = [u'<add>']
- for doc in self.docs:
- newdoc = self.packagingDoc(lst, doc)
- lst.append(u'</add>')
- data = ''.join(lst).encode('utf-8')
- self._commit(data)
- #包装数据
- def packagingDoc(self,lst, doc):
- lst.append(u'<doc>')
- for k,v in doc.items():
- lst.append('<field name=%s>%s</field>' % (
- (quoteattr(k),
- escape(unicode(v)))))
- lst.append('</doc>')
使用的例子
- #coding=utf-8
- '''''
- Created on 2015-10-9
- @author: kwsy2015
- '''
- import pymongo
- from bson import ObjectId
- from pymongo import MongoClient
- from WebUser.MySolrPy import MySolrPy
- #连接数据库
- client = MongoClient('localhost', 27017)
- #获得一个database
- db = client.webuser
- #获得一个collection
- coll = db.userinfo
- count = 0
- docs = coll.find()
- msp = MySolrPy('http://localhost:8080/solr/emailSolr')
- msp.delDoc(3)
- for doc in docs:
- count += 1
- bean = {
- 'id':count,
- 'email_ik':doc['emailLink'],
- 'email_s':doc['email'],
- 'namen_s':doc['name'],
- 'passwordn_s':doc['password'],
- 'webnamen_s':doc['webname']
- }
- msp.add(bean)
- if count>100000:
- break
- msp.commit()
- print 'ok'