笔记
即将转行的小李肚
互相学习
展开
-
基于 selenium 模拟登陆 12306 滑块问题 已解决
哎呀,出错了,点击刷新再来一次(error:tMKTxq)、基于 selenium 模拟登陆 12306 滑块问题 已解决原创 2022-07-24 11:27:32 · 2260 阅读 · 5 评论 -
DeprecationWarning: use options instead of chrome_options 问题,已解决
在使用无头浏览器时,用到chrome_options参数已经被优化,但程序仍可以执行直接使用ChromeOptions()对象替代,然后一起传递给options原创 2022-06-13 16:05:08 · 1566 阅读 · 0 评论 -
多任务异步协程实现,‘TypeError(‘An asyncio.Future, a coroutine or an awaitable’ 解决方法
多任务异步协程下载的 io 操作其实不是多个 Task 一起进行下载的,而是遇到阻塞的时候进行下一个 Task 的阻塞,将阻塞在时序上进行重叠定义一个协程函数,协程函数中的阻塞实际是人为设定的 await asyncio.sleep(2),await 手动实现挂起,函数实现 URL 请求,请求成功后进行持续化存储async def get_down(url): print('正在请求',url) # 执行一个 Task 遇到阻塞操作 则使用 await 手动挂起,程序会去执行另一个 Ta原创 2022-05-23 18:14:59 · 2287 阅读 · 0 评论 -
异步爬虫“该文章已下线” 、“mrd参数”解决方法
进入梨视频生活主页面:URL: https://www.pearvideo.com/category_5F12进入元素选择界面,随便点击一个视频略缩图,可以进入对应的标签,可以看到前四个视频应该都在 ul 标签的 li 标签下从这个页面可以获取视频的详情页 URL 地址(需要进入详情页进一步获取下载地址)和视频名称通过 xpath 定位到属性 id=“listvideoListUl” 的 ul 标签,然后定位到 li 标签li_list=tree.xpath("//ul[@id='listvide原创 2022-05-20 10:47:50 · 1562 阅读 · 5 评论