使用webScraper 快速上手爬取数据(一)

web Scraper
简介下载
  web Scraper是chrome中的一个插件,用来可视化爬虫,优点便是简单易操作,能满足小白的日常爬虫需求。可以做到不写代码进行爬取需要的数据

2023-07-13T09:38:20.png

在chrome浏览器中下载
若无法访问chrome,可以用Firefox浏览器作为替代来使用web scraper插件,下载安装Firefox浏览器
第一次简单爬取
任意进入一个页面,点击F12进入开发者后台。
 

2023-07-13T09:50:42.png


下面我们点击create new sitemap,然后点击create sitemap (创建网站地图),打开后会有name和URL选项
 

2023-07-13T09:54:48.png

2023-07-13T09:58:12.png

第一次进行爬虫练习选择爬取哔哩哔哩首页的视频name
 

2023-07-13T10:08:06.png


点击create sitemap
然后Add new selector
 

2023-07-13T10:12:00.png


Select选择在页面进行操作: 
 

2023-07-13T10:15:33.png


最后点击Save selector
 

2023-07-13T10:17:15.png


进行爬取
 

2023-07-13T10:18:13.png


设置页面加载延迟,防止访问太快
 

2023-07-13T10:22:34.png


然后点击start scraping开始爬取
当窗体一闪而过就说明爬取成功
可以去把爬取到的数据
下载到本地了
 

2023-07-13T10:26:15.png


由于bilibili每次打开都会刷新页面所以每次爬取到的name不一样
这就是进行简单使用web Scraper.
下面将会去学习如何将全部数据都爬取下来,以及控制链接参数实现翻页功能等。
**相比前面学习的爬虫框架之类的,这个插件可以说是大大提高工作效率(不用去写复杂代码了,提供了摸鱼时间)。有时站在巨人的肩膀上看世界还是很舒服的。**

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值