因发帖规则,如需爬取其他各大网站请详细看我发布的文章
本代码仅供教学使用,任何非法行为与本帖无关
超级规范的代码 —— 供大家免费使用、教学(必应)
from selenium.webdriver import Firefox
from selenium.webdriver import FirefoxOptions
import time,re
option = FirefoxOptions()
option.add_argument("--headless") # 隐藏浏览器
browser = Firefox(executable_path='geckodriver',options=option)
page_num = 2
print("正在爬去第"+str(page_num)+"页数据")
url = "http://www.nhc.gov.cn/xcs/yqtb/list_gzbd_"+str(page_num)+".shtml"
browser.get(url)
time.sleep(2) #火狐需要人为等待,设置等待时间为5s
alls = browser.find_elements_by_css_selector("li a")
print(alls)
browser.quit()
使用效果图
还有什么问题可在评论区提问