这几天在学习爬取动态页面,曾经尝试过用正则从<script>标签中截取需要的信息,确实能够
拿到需要的信息,但是费时费力,不太好用。后来,发现了一个框架叫做webmagic,然后就
尝试着用它来爬取数据,用了之后发现很方便。现在就看看需要做什么准备工作吧。(前提是
已经装好jdk和eclipse)
一、在eclipse中新建maven项目
二、将webmagic导入到maven项目中
刚建好的maven项目目录:
在所建maven项目下的pom.xml文件中添加如下内容然后保存即可:
<dependency>
<groupId&g