爬虫
傅里叶的叶
这个作者很懒,什么都没留下…
展开
-
python爬虫-pyppeteer的基本使用
基本使用 安装 pip3 install pyppeteer 使用 ```c option = {'headless': False, 'dumpio': True,# 减少内存消耗 'autoClose': False, 'ignoreDefaultArgs': ['--enable-automation'], 'userDataDir': "./data/", '原创 2020-11-28 13:25:44 · 1572 阅读 · 0 评论 -
python爬虫-pyppeteer常用API
API 介绍 启动器 pyppeteer.launcher.launch() 启动 Chrome 进程并返回浏览器实例 参数: 参数 类型 解释 ignoreHTTPSErrors bool 是否忽略 HTTPS 错误。默认为 False headless bool 无头模式下运行浏览器。默认为 True 除非 appMode 或 devtools 选项 True executablePath str 运行 Chromium 或 Chrome 可执行文件的路径,而不是默认捆绑的原创 2020-11-28 13:24:29 · 1530 阅读 · 0 评论 -
python爬虫-selenium 的基本使用和常用API
selenium 使用 注意: 很多网站对selenium的webdriver做了反爬,所以推荐使用pyppeteer(更强大些)。 但是pyppeteer不如selenium稳定,bug少,语法清晰。 安装 pip3 install selenium 注意需要保持chrome和chromedriver 的版本一致 使用 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_o原创 2020-11-28 13:11:09 · 615 阅读 · 0 评论