python之扫描本地信息到Solr服务

原创 2015年11月19日 00:18:48

##scan_to_solr.py


#-*-coding:utf-8-*-
import urllib
import os,sys,re
import urllib2,httplib
import threading
import time
urlMap = {}
gEnd = False
gExit = False
gOK = 0
gErr = 0
reload(sys)
#sys.setdefaultencoding('utf-8')
sys.setdefaultencoding('gbk')
gCount = 0
gErrorList = []
gErrNumber = 0
def getUrl(url):
    try:
        return urllib2.urlopen(url,timeout=240).read()
    except:
        print "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXload error~"
        return None

def addIndex(key,value):
    url = u'http://192.168.4.60/baidu/src/addServer.php?ch=%s&jp=%s' % (key.decode("gbk"),value)
    ret = getUrl(url.encode("utf-8"))
    if ret != None:
    	return True
    return False

def getList(dirname,pFunc):
    try:
        ls=os.listdir(dirname)
    except:
        print dirname,'is access deny'
    else:
        for file in ls:
            temp = os.path.join(dirname,file)
            if(os.path.isdir(temp)):
                getList(temp,pFunc)
            else:
                pFunc(dirname,file)

"""
    callBack Function 
"""
def doAddFile(dir,file):
    global gCount
    global urlMap,gOK,gErr,gErrNumber,gErrorList
    if file == "entries" or file == "toIndex.py" or file == "index.txt":
    	return
    if re.search("(.ppt|.pptx|.xls|.txt|.doc|.vsd|.pdf|.rar|.xlsx|.zip|.docx|.tar|.gz|.iso|.rpm|.sql)$",file):
		gCount = gCount + 1
		dir = dir.replace("\\","/")
		svnUrl = 'svn://192.168.0.248:9997/DOC/' + u'软件部/'
		anchor = "%s%s" % (svnUrl,dir[11:].decode("gbk"))
		print file
		file = file.replace(" ","")
		print "###############"
		print file
		print "###############(%d)" % (gCount)
		ret = addIndex(file,anchor)
		if ret == True:
			gOK = gOK + 1
			print "OOO KKK(%d)\n" % (gOK)
			time.sleep(1)
		else:
			gErr = gErr + 1
			print "NNN GGG(%d)\n" % (gErr)
			addIndex(key,value)

"""
    Main Inport
"""
print "\n============================== Begin ScanDir ========================================"
getList(os.getcwd(),doAddFile)
print "ScanFile(%d)" % (gCount)
print "\n========================================================================================"
print "OK(%d) ,Error(%d)" % (gOK, gErr)


@@用法说明

scan_to_solr.py

扫描本地文件提交到Solr的模糊检索服务中

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

基于Python实现GIT上传敏感信息预扫描工具

前言有关GIT泄露信息的安全问题频出,目前市面上大部分敏感信息扫描工具都是针对GITHUB平台上已上传的代码进行批量扫描,缺乏针对上传前代码进行扫描的工具。因此我用Python实现了一个小型的扫描工具...

python-上传样本到virustotal,查询扫描信息

import simplejson import urllib import urllib2 import os MD5 = "5248f774d2ee0a10936d0b1dc89107f1" ...

Python绝技笔记--------FTP匿名访问检测、用户名密码爆破、扫描是否存在web服务默认网页

利用ftplib模块 很简单,先获取ftp,然后匿名访问的话用户名是 anonymous# -*- coding: UTF-8 -*- import ftplib def anonLogin(hos...

SolrServer---solr服务类

solr4.7服务搭建

  • 2016-07-22 10:19
  • 396KB
  • 下载

Solr6.3 Getting Started core.properties的配置信息

共有两种方式可以生成core.properties文件 第一种        在我的博客Solr6.3 Getting Started Solr6.3 Add Core 添加Core中含有,  ...

solr6.5安装与配置,直接启动服务(不需要部署到tomcat)

1、下载solr6.5,windows下载zip,linux下载.tgz 2、解压 3、window中启动,从cmd中进入到solr的解压目录里的bin目录 执行 solr.cmd start 检查是...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)