Yogurt_cry的博客

2.1 的示例是直接使用账号密码进行登录操作，这样的网站有很多，但相对来说采集下来的数据价值比较高，或者说脏数据较少的网站往往都是需要通过验证码来登录的，这也是由供需关系决定的。价值高，反爬力度大，反之亦然。 这里作为示例的是豆瓣的登录操作。 免责声明： 本示例只作为 pyWebBrowser 工具的开发演示，无法为开发、测试、生产过程中由于操作不当导致的封号、封 IP、被平台警告等各类异常承担任何责任包括法律责任，使用前自行评估风险。 本示例仅作为对操作过程进行思路模拟的具象化实现，并不能直接用生产环

除了 Selenium 通过 pyWebBrowser 也可以用来做可视化的采集，这是用这个工具登录 Gitee 的示例 # -*- coding: utf-8 -*- import pyWebBrowser from pyWebBrowser import sleep # 因为已经在包里引用过 time.sleep 了, 所以可以不用再引用一次 class Gitee: def __init__(self): self.__browser = pyWebBrowser.Bro.

[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple extra-index-url = http://mirrors.aliyun.com/pypi/simple http://pypi.douban.com/simple http://pypi.mirrors.ustc.edu.cn/simple [install] trusted-host = pypi.tuna.tsinghua.edu.cn.