python 用正则表达式查找多线程增删改查 MongoDB数据库全网最高效增删改查mongodb

朴拙数科

已于 2022-09-12 12:29:13 修改

阅读量454

点赞数 1

分类专栏：爬虫文章标签： python

于 2022-08-12 17:38:49 首次发布

本文链接：https://blog.csdn.net/weixin_45934622/article/details/126308580

版权

爬虫专栏收录该内容

14 篇文章 0 订阅

订阅专栏

处理对象

在这里插入图片描述

{'_id': ObjectId('62f60bc45cc1f7853cb9a959'),
  'province': '安徽',
  'city': '铜陵',
  'city_url': '//tl.fang.ke.com',
  'city_end_url': 'https://tl.fang.ke.com/xiaoqu/'},
 {'_id': ObjectId('62f60bc45cc1f7853cb9a95b'),
  'province': '安徽',
  'city': '黄山',
  'city_url': '//huangshan.fang.ke.com',
  'city_end_url': 'https://huangshan.fang.ke.com/xiaoqu/'},
 {'_id': ObjectId('62f60bc45cc1f7853cb9a95d'),

$regex正则删除city_url里面有fang这个文字的数据

 mycol.remove({"city_url":{"$regex":"fang"}})

在这里插入图片描述

高德地址转经纬度

def Gaode_address_transform_longitude_and_latitude(object1):
    url = 'https://restapi.amap.com/v3/geocode/geo'
    # url = 'https://restapi.amap.com/v3/geocode/geo'
    # 将两个参数放入字典
    params = {'key': '自己申请的高德key',
              'address': object1["city"] + object1["region"] + object1["projectName"],
              'city': object1["city"]}
    res = requests.get(url, params)
    # 输出结果为json，将其转为字典格式
    jd = json.loads(res.text)
    # 经纬度
    coords = jd['geocodes'][0]['location'].split(",")
    center = {"lng": coords[0], "lat": coords[1]}
    return center

拿id查找，然后实现更改字段名称，循环更新mongodb的新字段

for i in mycol.find():#循环自己的id
    print(mycol.find({'_id':i['_id']}))#必须要拿id具体查找到才能插入对应数据i['_id']
    mycol.update({'_id':i['_id']},{"$set":{'center':Gaode_address_transform_longitude_and_latitude(i)}},False,True)

多线程更新字段mongodb–插入数据

list_=[i["_id"] for i in list(mycol.find())]
def pross1(id_):
    companycol.update({'_id':id_}, {"$set":{'center':list(mycol.find({'_id':id_}))[0]['center']}}, False, True)
pool = ThreadPool(10)
pool.map(pross1,list_)
pool.close()
pool.join()

多线程更新mongodb–更换字段名

from multiprocessing.dummy import Pool as ThreadPool
list_=[i["_id"] for i in list(mycol.find())]
def pross(id_):
    mycol.update({'_id':id_}, {'$rename': {'updateDate': 'priceMonth'}}, False, True)
pool = ThreadPool(10)
pool.map(pross,list_)
pool.close()
pool.join()

深度查询

目标查询企业资质为监理资质的企业
在这里插入图片描述

{"certList":{"$elemMatch":{"certType":"监理资质"}}}

在这里插入图片描述
[{‘ $KaTeX parse error: Expected '}', got 'EOF' at end of input: …_id':{'bqyId':'$ bqyId’}, ‘uniqueIds’:{‘ $a dd T o S e t^{'} :^{'}$ _id’}, ‘count’:{‘ $KaTeX parse error: Expected 'EOF', got '}' at position 7: sum':1}̲ }}, {'$ match’:{‘count’:{‘$gt’:1}}}], {allowDiskUse:true}

失败1
[{‘ $KaTeX parse error: Expected '}', got 'EOF' at end of input: \dots{'辽宁晟威建设有限公司':'$ 辽宁晟威建设有限公司’}, ‘uniqueIds’:{‘ $KaTeX parse error: Expected 'EOF', got '}' at position 27: \dotsenterpriseName'}̲, 'count':{'$ sum’:1} }}, {‘ $KaTeX parse error: Expected '}', got 'EOF' at end of input: \dotsch':{'count':{'$ gt’:1}}}], {allowDiskUse:true}

.aggregate([{ $KaTeX parse error: Expected '}', got 'EOF' at end of input: …roup: { _id : '$ trend_id’, count: { $KaTeX parse error: Expected 'EOF', got '}' at position 7: sum: 1}̲}}, {$ match: {count: {$gt: 1}}}], {allowDiskUse: true})