Scrapy实例1-爬取天气预报存储到Json

最新推荐文章于 2024-08-05 20:06:05 发布

Co_zy

最新推荐文章于 2024-08-05 20:06:05 发布

阅读量1.4k

点赞数

分类专栏： Python网络爬虫

本文链接：https://blog.csdn.net/Co_zy/article/details/77206682

版权

本文档介绍如何使用Scrapy框架爬取天气网站的数据，并将其存储为Json格式。首先，创建工程和爬虫，接着分析目标链接找到需要抓取的信息。然后，编辑`BeijingSpider.py`实现爬虫逻辑，更新`pipelines.py`以处理爬取结果，再调整`settings.py`配置数据处理方式。最后，通过命令行运行项目，将数据保存为Json文件。

摘要由CSDN通过智能技术生成

目标: 爬取天气网天气
目标链接: http://beijing.tianqi.com/

我们依据上篇文章http://blog.csdn.net/co_zy/article/details/77189416
建立一个工程和一个爬虫

> scrapy startproject weather
> > scrapy genspider BeijingSpider tianqi.com

在本次爬虫项目案例中,需要修改,填空的只有4个文件,分别是items.py,settings.py,pipelines.py,BeijingSpider.py

(1)打开目标链接,审查元素

这里写图片描述

在这里,包含的信息有城市日期,星期,天气图标,温度,天气状况以及风向.至此,items.py文件已经呼之欲出

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    cityDate = scrapy.Field()
    week = scrapy.Field()
    img = scrapy.Field()
    temperature = scrapy.Field()
    weather = scrapy.Field()
    wind = scrapy.Field