PYTHON爬取天气网历史天气

#encoding:utf-8                                                                      
import requests                                                                      
from bs4 import BeautifulSoup
import random
import urllib
import urllib.request
import re
import csv

list_div = []
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}

urllist=[]
for year in range(2011,2021):
    for month in range(1,13):
        urllist.append("http://lishi.tianqi.com/nanchang/%d%02d.html"%(year,month))                              
file = open('nanchang_weather.csv','w',newline='')
csv_writer = csv.writer(file)
csv_writer.writerow(["时间","最高温度","最低温度","天气","风向"])
for url in urllist:                     
    response = requests.get(url,headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    weather_list = soup.select('div[class="tian_three"]')                             
    for weather in weather_list:
        ul_list = weather.select('ul')                                                                                                                        
        for ul in ul_list:                                                           
            li_list= ul.select('li')                                                 
            str=""                                                                   
            for li in li_list:
                div_list = li.select('div')
                list_div = []
                for div in div_list:
                    list_div.append(div.string)
                csv_writer.writerow(list_div)                                                                     
file.close()