python爬虫入门实战---------一周天气预报爬取_学习Python一个星期用Scrapy爬取天气预报实践一番...

目的

写一个真正意义上一个爬虫,并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。

目标分析:

219659120bb73cc4f56449e975ffb691ccc1457a.jpg

4f9c7eba7e8f545a066684f175574809cbd0b331.jpg

数据的筛选:

我们使用chrome开发者工具,模拟鼠标定位到相对应位置:

bae001a66d7503c8215b7b7ab161557ba8cab0cd.jpg

可以看到我们需要的数据,全都包裹在

5f2620d7e049ba696067226f4ee9f1a992a0f63f.jpg

这样我们就已经将准备工作做完了。

看一下当前的目录:

db4c5d820003680ebeec8f35986049879178d887.jpg

编写items.py:

这次我们来先编写items,十分的简单,只需要将希望获取的字段名填写进去:

cf1ecb1a92ceae7c2cda1dea6fbad7b611cedaa6.jpg

编写Spider:

这个部分使我们整个爬虫的核心!!

主要目的是:

将Downloader发给我们的Response里筛选数据,并返回给PIPELINE处理

下面我们来看一下代码:

c82a13c0fa6668d8feef5715fba4a337feb939cc.jpg

编写PIPELINE:

我们知道,pipelines.py是用来处理收尾爬虫抓到的数据的,

一般情况下,我们会将数据存到本地:

文本形式: 最基本的存储方式

json格式 :方便调用

数据库: 数据量比较大时选择的存储方式

TXT(文本)格式:

关于怎么快速学Python,可以加下小编的Python学习qun:699+749+852,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,欢迎初学和进阶中的小伙伴。每天晚上20:00都会开直播给大家分享Python知识和路线方法,qun里会不定期更新最新的教程

5f40027b3e5cc408c19e02d276a784f7d97bd384.jpg

json格式数据:

我们想要输出json格式的数据,最方便的是在PIPELINE里自定义一个class:

617f9ddc42990eb0e6cd57bb2ba07857c0880db1.jpg

数据库格式(mysql):

Python对市面上各种各样的数据库的操作都有良好的支持,

但是现在一般比较常用的免费数据库mysql。

在本地安装mysql:

linux和mac都有很强大的包管理软件,如apt,brew等等

window 可以直接去官网下载安装包。

由于我是Mac,所以我是说Mac的安装方式了。

e513bca6d6f6d94f02e522bac9d361115bbb55c7.jpg

来看一下weather表长啥样:

d85a2a6cd86d2221f6768704e386cffeb1975e81.jpg

最后我们编辑与一下代码:

3cbb9af4beb7f6a6b46fb7fdec6710216e24ed9e.jpg

编写Settings.py

我们需要在Settings.py将我们写好的PIPELINE添加进去,

scrapy才能够跑起来

这里只需要增加一个dict格式的ITEM_PIPELINES,

数字value可以自定义,数字越小的优先处理

4ea32054ca3bf9ad8928ad6dd3f7dce52b615a9a.jpg

让项目跑起来:

结果展示:

文本格式:

f23e348241ad5130758056ad29c5e8156750887e.jpg

json格式:

9a5b734aafe0a7b833e75228a80e8dc2a365376a.jpg

数据库格式:

3cacb9cbd4d194f98be5387b870d4c34ebbc0eb9.jpg

这次的例子就到这里了,主要介绍如何通过自定义PIPELINE来将爬取的数据以不同的方式保存。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值