网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
from gevent import monkey
from parseSettings import *
import gevent
import time
import datetime
monkey.patch_all() #修改标准库
socket.setdefaulttimeout(2)
class LocationParser(object):
#用于地址解析的类
def init(self,ak,baseUrl):
self.ak = ak
self.baseUrl = baseUrl
def parse(self,address,output,city=None):
#通过api获取json数据
url = self.baseUrl+“?ak=”+self.ak+“&address=”+urllib.parse.quote(address)+“&output=”+output
if city:
url = url + “&city=”+urllib.parse.quote(city)
try:
result = urllib.request.urlopen(url)
except:
print(“连接错误”)
return None,url
jsonresult = json.load(result)
return jsonresult,url
class LocationDumper():
def init(self,ip,port,locationDB,locationCol,sourceDB,sourceCol,requestNum = 10,city = None):
#数据库连接
self.client = pymongo.MongoClient(ip,port)
#地址解析器
self.bParser = LocationParser(“vxc9SN7XHCI1M6y8djyBD98Upx5CCprX”,
“http://api.map.baidu.com/geocoder/v2/”)
#并发数量控制
self.requestNum = requestNum
#带解析数据集合
self.sourceCol = self.client[sourceDB][sourceCol]
#用于存储结果的集合
self.locationCol = self.client[locationDB][locationCol]
self.oklength = 0
self.errorlength = 0
#用于解析每一条数据的方法
def parseData(self,data):
#数据集中没有带解析的数据,解析该条数据
if self.locationCol.count({“_id”:data[“_id”]}) <= 0:
if self.locationCol.count({“address”:data[“address”]}) > 0:
print(“同一地址不再解析”+data[‘address’])
content = self.locationCol.find_one({“address”:data[“address”]})
a = {‘_id’:data[‘_id’],
“size”:data[‘size’],
“orient”:data[‘orient’],
“roomNum”:data[‘roomNum’],
“url”:data[‘fromUrl’],
“unitPrice”:data[‘unitPrice’],
“sumPrice”:data[‘sumPrice’],
“ln”:content[‘ln’],
“lat”:content[‘lat’],
“address”:data[‘address’],
“time”:data[‘nowTime’],
“city”:data[‘city’]}
self.locationCol.insert(a)
self.sourceCol.update({“_id”:data[“_id”]},{“$set”:{“status”:“OK”}})
return
result = self.bParser.parse(data[“address”],“json”,data[“city”])
#根据返回码判断解析结果是否正确,如果不正确,去掉城市参数重试
if result[0] and result[0][‘status’] != 0:
result = self.bParser.parse(data[“address”],“json”)
if not result[0]:
return
jsonResult = result[0]
urlResult = result[1]
ln = None
lat = None
if jsonResult[‘status’] == 0:
ln = jsonResult[‘result’][‘location’][‘lng’]
lat = jsonResult[‘result’][‘location’][‘lat’]
else:
try:
print(“地址解析错误,status:”+str(jsonResult[‘status’])+“,msg:”+jsonResult[‘msg’]+“,errorUrl:”+urlResult)
self.sourceCol.update({“_id”:data[“_id”]},{“$set”:{“status”:“ERROR”}})
self.errorlength += 1
except:
print(“没有错误信息,直接输出信息”+str(jsonResult))
return
try:
a = {‘_id’:data[‘_id’],
“size”:data[‘size’],
“orient”:data[‘orient’],
“roomNum”:data[‘roomNum’],
“url”:data[‘fromUrl’],
“unitPrice”:data[‘unitPrice’],
“sumPrice”:data[‘sumPrice’],
“ln”:ln,
“lat”:lat,
“address”:data[‘address’],
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
么很难做到真正的技术提升。**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!