今天为大家推荐一个chrome浏览器的爬虫插件神器——web scraper。让大家只需要简简单单的几个操作,就可以爬取到我们想要的数据内容。
- 零代码爬虫
- 克服多种反爬虫机制(Agent、Cookie等网站特殊防护错误)
- 动态多页爬取
- 一键导出数据
目录
01 安装web scraper插件
第一步 进入插件扩展页面
进入谷歌chrome浏览器首页,左击右上角导航栏的拼图形状的【扩展程序】按钮,再点击弹出的菜单栏中的【管理扩展程序】(图1),进入扩展程序界面,这里包含了自己已经安装的插件。
![](https://i-blog.csdnimg.cn/blog_migrate/ac667597a90dd8eca11148917e0db89e.png)
第二步 进入插件商城
点击左上角的【 Chrome 应用商店】进入插件商城(图2)
![](https://i-blog.csdnimg.cn/blog_migrate/fb08777e118ab3e44ea50f9ff10b469f.png)
第三步 搜索Web scraper
在插件搜索栏输入“web scraper”,找到目标插件如图3。
![](https://i-blog.csdnimg.cn/blog_migrate/d85d8cda4277606132bf44f8959bc194.png)
第四步 添加插件
点击目标插件,并将插件【添加至Chrome】,如下图4。
![](https://i-blog.csdnimg.cn/blog_migrate/a523b548e6f47bf0b66f9cf99e7ec685.png)
Successful!!!以上就完成了web scraper插件的安装了!!!
02 使用scraper插件爬虫
下面我将通过一个爬虫项目来进行阐述:
- 目标网址:豆瓣电影 Top 250
- 任务内容:爬取豆瓣网中的电影Top 250部电影的信息。
第一步 进入目标网址并打开开发者模式
进入到豆瓣网指定页面,按【F12】或在右击鼠标的菜单栏中选择【检查】进入到开发者模式。
第二步 创建Sitemap
首先在开发者模式下打开Scraper,然后创建新的Sitemap,并将网页的url链接填写到Start URL中,对于Sitemap name的命名,大家可以随意进行填写。点击Create Sitemap后,即可创建一个新的SItemap。在创建Sitemap后,接下来的操作才是最重要的,如下图5所示:
![](https://i-blog.csdnimg.cn/blog_migrate/c5985ac25f7908dd2401b195597df3c3.png)
1、关于网址URL:如果要实现多页爬取,需要找到页面网址的规律,在上述的豆瓣Top250部电影内容中,我们分析其多个页的网址如下
https://movie.douban.com/top250?start=0&filter=
https://movie.douban.com/top250?start=25&filter=
https://movie.douban.com/top250?start=50&filter=
......
https://movie.douban.com/top250?start=225&filter=
通过分析,URL网址变化的是start变量的参数值,且表示每一页的起始行号,那么在Start URL 1中,我们做如下编辑
https://movie.douban.com/top250?start=[0:225:25]&filter=
其中[0:225:25]表示动态的变量,从0到225,且步长为25,即实现上述多页的网址变换。
第三步 添加爬取字段
在图6中首先选择Add new selector;
![](https://i-blog.csdnimg.cn/blog_migrate/1d7da7a6c54491d13fd597bb941874b9.png)
第四步 具体爬取字段添加
然后在图7中,在Id中输入title(表示要爬取的字段为电影的名称),在Type中选择Text,并点击Select。在网页中点击不同电影的名字,scraper会自动提取电影的url名称,并生成selector链接,点击Done selecting即可。在点击Done selecting后,勾选Multiple(因为是爬取多个商品url),这里的Delay可以采用默认的值,或者是自己添加一个数值。并点击Save selector。
![](https://i-blog.csdnimg.cn/blog_migrate/b75516df6340f836d08e44c8532c6c3e.png)
第五步 自动爬取数据
在Sitemap underwear下点击Scrape(图8),点击Start Scraping后,scraper便会帮我们逐页爬取所有页的电影名称(图9)。
![](https://i-blog.csdnimg.cn/blog_migrate/cd5dfdf19b5caf33a3bc464bb48b6d62.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f5f468ea2d43b9606303e810711c60d.png)
第六步 实时查看爬取的数据
在点击Start scraping后,浏览器Chrome会跳出新的窗口自动爬取每一页的数据,点击下图10中的refresh data,可以实时查看爬取的数据,等待新打开的窗口自动关闭则表示爬取结束。
![](https://i-blog.csdnimg.cn/blog_migrate/c5a5c8642a80f47e16e4332a79372c3f.png)
第七步 下载爬取的数据
在的Sitemap underwear下拉菜单下,点击Export data as CSV后,即可将爬取到的数据保存为csv文件并下载下来。如下图11所示:
![](https://i-blog.csdnimg.cn/blog_migrate/5894bd1c4c167b8a699f933a08144c30.png)
03 视频演示
一、关于爬取多个字段:
Web scraper多字段爬虫操作演示
04 尾声
- 如果大家想了解更多关于Web Scraper插件的内容,可以查看官方的说明文档。Installation | Web Scraper Documentation
这个插件还是很牛逼的,其实原理就是用selenium 打开chrome浏览器进行爬取,只是google这个插件帮我们集成了好了。有兴趣的小伙伴可以试一下。有什么问题可以在评论区留言哈!