1、首先百度搜索webmagic网站,网址如下:https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3
2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压
3、创建一个项目,在项目中创建一个lib文件夹,将WebMagic中的jar包复制到lib文件夹里面,选取所有的jar包(按下shift可以全选),右键->build path,然后创建一个class 文件,具体执行代码如下:
package test20190428;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.Set;
import java.util.TreeSet;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
/*
* 使用WebMagic,不要忘记导包:最新版:WebMagic-0.7.3
* test:爬取最大资源网中所有电影网址
* */
public class Mo