playwright实现爬取wb评论
文章平均质量分 85
playwright实现爬取wb评论
。️
that'all
展开
-
playwright——实现wb登录
在这个方法中,首先记录了一个日志,然后根据登录类型(login_type)的不同,调用了不同的登录方法。这段代码的作用是根据不同的登录类型来选择不同的登录方式,以开始微博登录过程。然后,它遍历了通过utils.convert_str_cookie_to_dict方法将cookie字符串转换为字典后的结果,将每个cookie以字典形式添加到浏览器上下文中。这段代码的作用是通过提供的cookie字符串来进行微博网站的登录,它将提取的cookie添加到浏览器上下文中,以实现使用cookie进行登录的功能。原创 2023-12-25 11:47:33 · 1357 阅读 · 0 评论 -
playwright——实现wb爬取
然后,它创建了一个任务列表,其中每个任务都是调用get_note_info_task方法,用于获取指定微博的信息。接下来,根据爬虫类型的不同,它会执行不同的操作。接着,它创建了一个任务列表,遍历了微博ID列表,为每个微博ID创建了一个异步任务,这些任务调用了get_note_comments方法来获取微博的评论信息。紧接着,它调用了wb_client的get_note_all_comments方法来获取指定微博的所有评论信息,并通过关键词对评论进行筛选和数量限制。原创 2023-12-25 11:55:59 · 1240 阅读 · 0 评论 -
playwright——实现wb客户端
在循环中,你调用了之前定义的get_note_comments方法来获取评论数据,并根据返回的数据更新了max_id和is_end的值。在这个方法中,你构建了请求的URI和参数,并设置了Referer头,然后调用了之前定义的get方法来发送GET请求。在这个方法中,你构建了请求的URI和参数,并调用了之前定义的get方法来发送GET请求。你使用了json.dumps方法将数据转换为JSON格式的字符串,然后调用了之前定义的request方法,发送了POST请求,并返回了响应数据。原创 2023-12-25 11:44:22 · 925 阅读 · 0 评论