自动抓包工具 web scraper

介绍：

web scraper是一款免费且容易操作的自动抓包工具，可在谷歌浏览器拓展程序直接搜索安装。

安装

谷歌拓展程序安装

Edge拓展程序安装

打开web scraper

安装之后按F12 打开开发者工具，顶部的菜单栏

注意：窗口模式设置为 底部窗口 Dock to buttom

Web Scraper使用

创建Sitemap

添加新的选择器

具体操作

用到的网址: https://movie.douban.com/top250?start=0
任务:抓本页面的电影名，点评人数、评分

创建父标签

抓取电影名字,link 是将名字以及链接一同抓取

抓取电影评价人数

tip:multip 是抓取选中同类型的标签

抓取电影评价分数

这样就有了三条

开始抓取数据

tip:不要关闭网页

结果

如果要翻页抓：抓豆瓣电影 Top 250
找规律：


抓取的网页： https://movie.douban.com/top250?start=[0-225:25]
表示[0-225:25] 0到255之间每隔25访问一次