最近需要爬取网站bopgraphy上的人物链接,以便后续再爬取具体人物的相关信息,网页上有一个SEE MORE
的点击按钮,最初的想法是先通过selenium模拟浏览器不断点击按钮加载所有的人物链接到页面,然后通过元素定位爬取人物链接。
点击按钮代码:
button = browser.find_element_by_class_name("m-component-footer--loader")
button.click()
在定位到button
按钮之后,无法点击,错误提示如题,但是当输出button
的文本信息是SEE MORE,说明定位是对的,但是无法实现点击。
后来通过这里解决问题,最高赞答案的123方案都尝试过,没用,次高赞答案解决问题,程序修改为:
button = browser.find_element_by_class_name("m-component-footer--loader")
browser.execute_script("arguments[0].click()", button)