![](https://img-blog.csdnimg.cn/direct/f9f443e275234b3a81814010eea03c30.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
playwright爬取b站评论
文章平均质量分 89
playwright爬取b站评论
。️
that'all
展开
-
playwright——实现bilibili客户端
调用self.get方法,发送一个GET请求到构造好的URI,并携带params作为参数,同时将enable_params_sign参数设置为False,这可能是为了禁用对参数的签名处理。准备了一个post_data字典,包含了视频ID(oid)、排序方式(mode)、类型(type)、每页数量(ps)和下一页的页码(next)作为参数。这段代码的作用是封装了获取特定视频所有评论的逻辑,通过循环调用获取评论的接口,并根据参数控制是否获取子评论,最终返回获取到的所有评论信息。原创 2023-12-24 22:56:53 · 884 阅读 · 0 评论 -
playwright——实现bilibili爬取
最后,根据爬虫类型的不同,它会执行搜索或详情爬取操作。接着,它会创建一个任务列表,遍历视频ID列表,为每个视频ID创建一个异步任务,并将这些任务添加到任务列表中。它首先创建了一个信号量来限制并发请求的数量,然后创建了一个任务列表,遍历指定的视频ID列表,为每个视频ID创建一个获取视频信息的任务,并将这些任务添加到任务列表中。在获取了视频的信息之后,它会遍历视频详情列表,如果视频详情不为空的话,就会调用bilibili.update_bilibili_video方法来更新bilibili视频的信息。原创 2023-12-24 16:43:00 · 1015 阅读 · 0 评论 -
playwright——实现bilibili登录
根据参数名和类型,它可能是用于实现Bilibili网站的登录功能,其中login_type表示登录类型,browser_context和context_page可能是与浏览器操作相关的对象,login_phone是登录手机号,cookie_str是用于登录的cookie字符串。在方法中,首先记录了一条日志,然后根据登录类型的不同,调用了相应的登录方法:如果登录类型是"qrcode",则调用login_by_qrcode方法;- 最后,函数返回转换后的字符串形式的Cookie和字典形式的Cookie。原创 2023-12-24 13:13:59 · 961 阅读 · 0 评论