平时普通的爬虫:在代码里面发一个请求,然后从流中获取网页内容,解析网页内容得到相关信息。这个方式的优点是简单快捷,缺点是很容易被拦截,失败率高。
另辟蹊径的方式就是使用谷歌插件获取页面所有内容,再解析,得到所要的信息。
插件名称:chromeCrawl
插件添加地址:点我
如果上不了谷歌应用网站,可以使用github的手动安装教程:点我
插件简单使用
安装后在浏览器右上角看到安装后的图标:共有三个功能
这三个复选框的解释:
打开爬取页面功能:勾选该复选框,才会向后台接口发送页面内容,同时接收数据接口出现
自动关闭页面:勾选该复选框,爬取页面完成后,页面自动关闭。
不显示多媒体资源:勾选该复选框,图片,视频,字体等资源将不加载,可以提高网页加载速度
备注:
接收数据接口:接收页面数据的接口,需要自己定义,默认http://localhost:8080/content,与 打开爬取页面功能 联动
当打开爬取功能时,我们想要拿到页面内容,可以这样设置:
如果是java的话,后台这样接收就可以了:
package com.molikam.shop.controller;
import java.util.concurrent.atomic.AtomicInteger;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class CrawlerController {
AtomicInteger count = new AtomicInteger(0);
@RequestMapping(value="/content",method={RequestMethod.POST})
public void getContent(String content){
System.out.println(count.incrementAndGet());
System.out.println(content);
}
}
想要看插件具体代码或者自己添加更多需求,移步github下载:点我
下载后在background.js和content_script.js这两个文件添加内容就行了,具体如何编写谷歌插件,百度一下都有的。