天气预报的查询
- 目的:用Python爬虫爬取中国天气网上4个城市未来7天的天气预报。
- 方法:python爬虫
- 工具包:random、requests、socket、time、http.client、csv和BeautufulSoup
- 定义函数:spider_html();get_data();write_data();get_url()
其中工具包中random用于生成随机数,设定超时时间,防止被网站认为是爬虫;requests用于抓取网页的HTML源代码;time是获取时间日期;socket和http.client是做异常处理;csv用作文件数据(以excel的格式)的读取等操作;BeautifulSoup是用于代替正则获取源码相应标签的内容。
其中定义函数中spider_html()是爬取中国天气网页面的源代码;get_data()是获取HTML源代码中body部分中的列表有关天气的数据并做存储处理;write_data()将数据写入txt文件中;get_url()是获取相关城市(通过城市代码)天气的页面数据
城市代码可参考:
http://www.360doc.com/content/14/0322/07/59625_362614659.shtml
那么现在,我就开始放代码啦啦啦。。。
from bs4 import BeautifulSoup
import random
import requests
import socket
import time
import http.client
import csv
def spider_html(url,data=None):
##模拟浏览器来获取网页的html代码
header={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
}
timeout=random.choice(range(80,180))
while True:
try:
rep=requests.get(url,headers=header,timeout=timeout)
rep.encoding="utf-8"
break
except socket.timeout as e:
print("3:",e)
time.sleep(random.choice(range(8,15)))
except socket.error as e:
print("4:",e)
time.sleep(random.choice(range(20,60)))
except http.client.BadStatusLine as e:
print("5:",e)
time.sleep(random.choice(range(30,80)))
except http.client.IncompleteRead as e:
print("6:",e)
time.sleep(random.choice(range(5,15)))
return rep.text
def get_data(html_txt):
final=[]
bs=BeautifulSoup(html_txt,"html.parser") #创建BeautifulSoup对象
body=bs.body #获取body部分
data=body.find("div",{"id":"7d"}) #找到id为7d的div
ul=data.find("ul") #获取ul部分
li=ul.find_all("li") #获取所有的list
for day in li:
temp=[]
date=day.find("h1").string
temp.append(date) #将日期存入到temp 中
inf=day.find_all("p") #找到li中的所有p标签
temp.append(inf[0].string) #将第一个p标签中的内容添加到temp列表中
if inf[1].find("span") is None:
temperature_high=None #傍晚无最高气温
else:
temperature_high=inf[1].find("span").string #最高气温
temperature_high=temperature_high.replace("℃","")
temperature_lower=inf[1].find("i").string #最低温
temperature_lower=temperature_lower.replace("℃","")
temp.append(temperature_high)
temp.append(temperature_lower)
final.append(temp)
return final
def write_data(data, name):
file_name = name
with open(file_name, 'a', errors='ignore', newline='') as f:
f_csv = csv.writer(f)
f_csv.writerows(data)
def get_url():
city={
"嘉峪关":"101161401",
"杭州":"101230101",
"乐亭":"101090506",
"上海":"101020100"
}
for k in city:
print(k)
city_name=input("whitch city?:")
city_num=city[city_name]
weather_url="http://www.weather.com.cn/weather/%s.shtml"%city_num
return weather_url
if __name__=="__main__":
url=get_url()
html=spider_html(url)
result=get_data(html)
write_data(result,"weather.txt")
for i in result:
print(i)
这是我的效果图:
Ps:此次我只写了能查询4个城市天气的功能,这个需要改进,写完了进PO上来了。
谢谢大家,欢迎交流指正!