爬虫-练习（四）爬取一周内天气JSON格式

最新推荐文章于 2024-09-25 15:39:49 发布

匿名啊啊啊

最新推荐文章于 2024-09-25 15:39:49 发布

阅读量817

点赞数

分类专栏：爬虫练习

本文链接：https://blog.csdn.net/qq_41851454/article/details/79732890

版权

爬虫练习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文介绍了如何使用爬虫技术抓取一周内的天气信息，并以JSON格式存储。通过示例代码，展示了爬虫的实现过程。

摘要由CSDN通过智能技术生成

网址：

http://www.weather.com.cn/weather/101010100.shtml

代码：

from urllib.request import urlopen
from bs4 import  BeautifulSoup
import  json


url = "http://www.weather.com.cn/weather/101010100.shtml"

response = urlopen(url)

bs = BeautifulSoup(response, "html.parser")

# 按照顺序依次找出五列数据：   日期date， 描述 desc,  温度temp    风向direction  level 风力
date_list = bs.select("li > h1")
desc_list = bs.select("li > p.wea")
temp_list = bs.select("li > p.tem")
direction_list = bs.select("li > p.win > em")
level_list = bs.select("li > p.win > i")

result_list = []
for i in range(len(date_list)):
    date = date_list[i].text
    desc = desc_list[i].text
    temp = temp_list[i].stripped_strings
    temp = "".join(temp)
    direction_temp = direction_list[i]
    two_span_list = direction_temp.select("span")
    direction = two_span_list[0].get("title") + "-" + two_span_list[1].get("title")
    level = level_list[i].text
    # result_list.append([date, desc, temp,direction,level])
    # print(date, desc, temp,direction,level, sep="\t")
	#json模式写法
    result_list.append({"date":date, "desc":desc, "temp":temp, "direction":direction, "level":level})

aa = {"date":1, "desc":2, "temp":3, "direction":4, "level":5}
print(aa)
print(type(aa))

for result in result_list:
    print(result)






with open("c:/weather3.json", "w", encoding="utf-8") as f:
    json.dump(result_list, f, ensure_ascii=False)