网址:Sonnagh, Ireland Weather History | Weather Underground
观察
通过观察发现,不同日期的数据网址的末尾有差别。例如,2019年11月1号和2号的数据网址分别如下:
https://www.wunderground.com/history/daily/ie/sonnagh/EIKN/date/2019-11-1
https://www.wunderground.com/history/daily/ie/sonnagh/EIKN/date/2019-11-2
因此只需要改变网址末尾的日期就可以爬到不同日期的数据。
代码
from selenium import webdriver
from bs4 import BeautifulSoup as bs
import time
import pandas as pd
获取网页的源代码函数,要等待网站加载完才能爬到数据,因此设置time.sleep( )
def get_soup(url):
browser.get(url)
time.sleep(9)
html = browser.page_source # 获得网页源代码
soup = bs(html)
return soup