Selenium + Headless Chrome + 爬取动态网页(踩坑)
科研项目需要在云端做爬虫爬取YouTube的评论,我先在Google Colab试水,需要用加入Headless参数,并且设置窗口大小(很关键),查了很多资料才发现是没有设置窗口大小。from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdrive...
原创
2020-03-09 12:00:45 ·
813 阅读 ·
0 评论