今天和大家分享下,在做业务预测时,需要使用到天气方面的数据,这些数据需要从一些网站中进行收集,这是我们就要用到爬虫,收集到一个完整的天气预报数据(用excel保存):
1、爬虫前准备:
① python 3.6已正常安装完毕;
② 要按照谷歌浏览器以及对应的chromedriver.exe;
③ python安装selenium 、pandas等;
2、爬虫代码如下:
① 明确需要爬出的关键要素(天气情况,气温,风速等);
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import pandas as pd
import re
def Weatherbox(driver,L):
city = driver.find_element_by_xpath("/html/body/div[4]/div[1]/div[4]/a[1]").text
print('-----------------------------------------------------')
print('获取'+city)
a1 = driver.find_element_by_xpath('/html/body/div[4]/div[1]/div[7]/div/div[1]/a/h3/b').text
b1 = driver.find_element_by_xpath('/html/body/div[4]/div[1]/div[7]/div/div[1]/a/ul/li[2]