知网爬虫复盘(爬取标题、作者等关键词并根据日期进行筛选)
文章目录一、前言二、思路分析1.访问知网主页2.跳转至高级检索页面并点击专业检索3.输入检索条件并检索4.依次爬取不同页面信息三、代码实现1.初始化检索条件2.调用search函数完成检索3.爬取当前页面信息4.翻页,等待下一次爬取5.存储数据四、源代码五、部分结果展示一、前言首先感谢一下作者Python伊甸园提供的思路:中国知网爬虫,本文也是基于高级检索进行筛选和相关信息的爬取,但在实际操作过程中发现知网的框架有所变化,所以在原代码的基础上进行了一些修改和针对性优化,此篇文章目的在于记录一些编写代码过
原创
2021-01-24 16:54:28 ·
4442 阅读 ·
13 评论