知网毕业论文爬取

知网论文

• 查找文献的时候每次只显示10页
• 二次检索功能又还没有（不知道是不是我没找到）。
• 干脆用爬虫把所有和自己论文关键字相关的文献题目都爬取下来，然后自己做一个小的检索表。

开源项目

https://github.com/hodgekou/CNKICrawler.git

配置文件

keyword = 慢性粒细胞白血病
currentpage = 70
maxpage = 4784
searchlocation = 全文

放到阿里云。去睡觉，第二天看结果

python3 spider_main.py

看一会~停一会！模仿人类的爬虫