学习Python一个星期用Scrapy爬取天气预报实践一番

目的

写一个真正意义上一个爬虫,并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。

目标分析:

 

 

 

 

 

数据的筛选:

我们使用chrome开发者工具,模拟鼠标定位到相对应位置:

 

 

可以看到我们需要的数据,全都包裹在

 

 

这样我们就已经将准备工作做完了。

看一下当前的目录:

 

 

编写items.py:

这次我们来先编写items,十分的简单,只需要将希望获取的字段名填写进去:

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是一个简单的 Scrapy 南京天气预报的示例: 1. 创建 Scrapy 项目 在命令行中输入以下命令: ``` scrapy startproject nanjing_weather cd nanjing_weather ``` 2. 创建虫 在命令行中输入以下命令: ``` scrapy genspider nanjing www.weather.com.cn ``` 这将在 `nanjing_weather/spiders` 目录下创建一个名为 `nanjing.py` 的文件,用于定义虫。 3. 编写虫代码 打开 `nanjing.py` 文件,将以下代码粘贴到文件中: ```python import scrapy class NanjingWeatherSpider(scrapy.Spider): name = 'nanjing' allowed_domains = ['www.weather.com.cn'] start_urls = ['http://www.weather.com.cn/weather/101190101.shtml'] def parse(self, response): # 获天气信息 weather_info = response.xpath('//div[@id="7d"]/ul/li') for info in weather_info: date = info.xpath('h1/text()').get() weather = info.xpath('p[@class="wea"]/text()').get() temperature = info.xpath('p[@class="tem"]/span/text()').get() + info.xpath('p[@class="tem"]/i/text()').get() wind = info.xpath('p[@class="win"]/i/text()').get() yield { 'city': '南京', 'date': date, 'weather': weather, 'temperature': temperature, 'wind': wind, } ``` 以上代码定义了一个名为 `NanjingWeatherSpider` 的虫,首先在 `start_urls` 中定义了南京天气预报页面的链接,然后在 `parse` 方法中获天气信息,并将数据以字典的形式返回。 4. 运行虫 在命令行中输入以下命令: ``` scrapy crawl nanjing -o nanjing_weather.json ``` 这将运行虫并将到的数据保存到 `nanjing_weather.json` 文件中。 以上就是一个简单的 Scrapy 南京天气预报的示例。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值