java 知网爬虫_怎样抓取中国知网数据

2，快捷采集的使用方法：如何使用快捷采集

在中国知网通过高级检索，输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。但是中国知网在输入关键词搜索后网址并不会发生变化，所以在抓取的时候我们需要爬虫自动输入目标关键词搜索后，开始抓取数据。

要抓取到标题、作者、摘要、关键词等信息，我们一共需要做四个规则：

第一个规则“

第二个规则“

Tips:有些文章的摘要需要点击“更多”才能显示全部，为了抓取完整的摘要我们需要做一个规则来点击这个“更多”.

第三个规则“

第四个规则“

图1

一、第一个规则——知网_搜索

1.以中国知网高级检索文献文章为例，将文献高级检索的链接：http://epub.cnki.net/kns/brief/result.aspx?dbPrefix=scdb&action=scdbsearch&db_opt=SCDB 粘贴到谋数台中。

第一个规则的主要工作是为了搜索关键词，但是为了规则有效执行，在一个规则中我们抓取文章类型，在这里以文献为例我们抓取的内容就是“文献”并且勾上关键内容。