Python爬虫的任务数据操作的小技巧

需求

爬取某网站的项目列表页，获取其url，标题等信息，作为后续爬取详情页的任务url。

先上代码

代码

# -*- coding: utf-8 -*- 
# @Time : 2019-11-08 14:04 
# @Author : cxa 
# @File : motor_helper.py 
# @Software: PyCharm 
 
import asyncio  
import datetime 
from loguru import logger 
from motor.motor_asyncio import AsyncIOMotorClient 
from collections import Iterable 
 
try: 
    import uvloop 
 
    asyncio.set_event_loop_policy(uvloop.EventLoopPolicy()) 
except ImportError: 
    pass 
 
db_configs = { 
    'host': '127.0.0.1', 
    'port': '27017', 
    'db_name': 'mafengwo', 
    'user': '' 
} 
 
class MotorOperation: 
    def __init__(self): 
        self.__dict__.update(**db_configs) 
        if self.user: 
            self.motor_uri = f"