![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
异步
你很棒滴
这个作者很懒,什么都没留下…
展开
-
异步爬取小说---三寸人间
思路 1.先写同步代码,遇到多个url时,创建异步任务。 2.保存到txt文件 导包 import requests from lxml import etree import asyncio import aiohttp, aiofiles import os 得到url列表 async def get_urls(url, headers): resp = requests.get(url=url, headers=headers) resp.encoding = 'utf-8'原创 2021-04-23 17:05:50 · 442 阅读 · 0 评论 -
异步爬取百度小说西游记 ------------------- 2021年4月3日
''' 1. 先用单线程得到每篇文章的cid和title 2. 拼接得到每篇文章的url 获取文章 3. 添加异步操作 ''' # 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}' # 全部章节的url # http://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","cid":"4306063500|11348571"原创 2021-04-03 19:35:35 · 730 阅读 · 3 评论