50岁能自学python吗_scrapy爬虫学习系列四:portia的学习入门

系列文章列表:

注意: 我自己新建的一个QQ群(新建的),欢迎大家加入一起学习一起进步 ,群号646187336

portia的简介:

Portia是我们的开源可视化爬虫工具,可让您在不需要任何编程知识的情况下爬取网站!简单地注释您感兴趣的页面,Portia将创建一个蜘蛛来从类似的页面提取数据

前言:

本文打算使用scrapy官方提供的demo网页(http://quotes.toscrape.com/page/1/)执行工程创建,这个网页相信大家都很熟悉了。那我们这就开始吧。

注意: 下面图片很多, 难免看不清楚的, 可以使用ctrl+鼠标滚轮缩放网页,方便你更清楚看清图片。

36b25db7b08633cf6c2ecb293ead5ed4.png

2.创建工程

470c8c7d1392ef1c814b92fff9de38c1.png

3.设置开始抓取网页

ebb1b9a77d8a01c7c912bd5afb122fad.png

4.创建爬虫

18b1b001419db7d6bab8c6ff25ba6267.png

5.创建样例页

80866947f4a4de75560030904d7122e0.png

6.设置元素获取方式

6.1添加content字段

94a077ca7da7e0b26f2be9f42f37e33e.png

81fc277128fc973f6e1892e9ac5ee54e.png

921af08894945060356a4082f49dd0ff.png

6.2添加author字段

23b7ab6e65dafb8660c6a971e6f04047.png

6.3添加tag字段

4b873d462f3a19241f5bae73561c9088.png

8e40f91b3390d24cb67c451bbba01f9b.png

7.运行爬虫

8af0be9391aec0a180021eae6232d974.png

8.查看爬虫结果

3edef0842409edeaee3076b03e2a50b6.png

9.查看爬虫运行结果

db49decbb15b24bb7fc30e6eff04702b.png

10.查看item结果

1766a276e2ae5680cbf0e6d8028b553b.png

11.下载我们可视化的源码吧

1b27dc0cba9086eba80bd5ab4aa80c31.png

我这个时间下载到的scrapy貌似没法运行,貌似官方网址有点问题,但是portia是可以用的。当然我们可以使用portia2code去转换portia代码为scrapy代码。

好了。我们使用的portia就是可以获取指定网页的数据,详细的大家可以自己摸索摸索。

注意: 现在官方修复了这个问题, 今天我再去下载的时候可以直接使用了。 也就不用protia2code转换了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值