异步
你很棒滴
这个作者很懒,什么都没留下…
展开
-
异步爬取小说---三寸人间
思路1.先写同步代码,遇到多个url时,创建异步任务。2.保存到txt文件导包import requestsfrom lxml import etreeimport asyncioimport aiohttp, aiofilesimport os得到url列表async def get_urls(url, headers): resp = requests.get(url=url, headers=headers) resp.encoding = 'utf-8'原创 2021-04-23 17:05:50 · 411 阅读 · 0 评论 -
异步爬取百度小说西游记 ------------------- 2021年4月3日
'''1. 先用单线程得到每篇文章的cid和title2. 拼接得到每篇文章的url 获取文章3. 添加异步操作'''# 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}'# 全部章节的url# http://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","cid":"4306063500|11348571"原创 2021-04-03 19:35:35 · 725 阅读 · 3 评论