2024阿里面试题和答案，从0到1教你用Python来爬取整站天气网，看这里

最新推荐文章于 2024-04-20 20:51:58 发布

2301_78416543

最新推荐文章于 2024-04-20 20:51:58 发布

阅读量919

点赞数 21

分类专栏： 2024年程序员学习文章标签： python 开发语言

本文链接：https://blog.csdn.net/2301_78416543/article/details/137440108

版权

本文通过实例代码介绍如何使用Python的Scrapy框架来爬取天气网站的数据。首先在item.py中定义爬取的字段，然后在settings.py中设置伪装的User-Agent。接着在middlewares.py中创建随机UserAgentMiddleware中间件。在spider.py中，逐步调试获取城市和月份的URL，并使用follow方法进行URL拼接和调度。最后，作者分享了自己的学习和工作经验，提供了一份全面的Python学习资源包。

摘要由CSDN通过智能技术生成

创建的路径如下：

在这里插入图片描述

代码编写

对于scrapy，第一步，必须编写item.py，明确爬取的对象

item.py

import scrapy

class WeatherSpiderItem(scrapy.Item):

define the fields for your item here like:

name = scrapy.Field()

“”“日期 AQI 质量等级 PM2.5 PM10 SO2 CO NO2 O3_8h”“”

city = scrapy.Field()

date = scrapy.Field()

aqi = scrapy.Field()

level = scrapy.Field()

pm25 = scrapy.Field()

pm10 = scrapy.Field()

so2 = scrapy.Field()

co = scrapy.Field()

no2 = scrapy.Field()

o3_8h = scrapy.Field()

对于爬取必须伪装好UA，在setting.py中定义MY_USER_AGENT来存放UA，注意在settings中命名必须大写

settings.py

MY_USER_AGENT = [

“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)”,

“Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”,

“Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)”,

“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)”,

“Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)”,

“Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)”,

“Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)”,

“Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6”,

“Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1”,

“Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Geck