【爬虫实战】Python爬取知网文献信息

最新推荐文章于 2024-09-12 08:30:17 发布

AI大模型学习路线

最新推荐文章于 2024-09-12 08:30:17 发布

阅读量4.2k

点赞数 5

文章标签： python pip pandas 开发语言

本文链接：https://blog.csdn.net/maiya_yaya/article/details/131303796

版权

本文介绍了如何利用Python爬虫技术，通过知网空间对特定领域的文献进行高效检索和信息提取。首先选择合适的搜索入口，分析请求参数，然后编写Python代码模拟POST请求获取搜索结果。接着，使用Xpath解析内容，提取标题、作者、出版日期、关键词等关键信息，并保存到Excel表格中，便于进一步研究和管理。最后，展示了爬取‘金融科技’和‘数字经济’领域文献的例子及结果。

摘要由CSDN通过智能技术生成

引言

临近毕业季，想必很多今年毕业的朋友们最近都在焦头烂额地忙着撰写论文吧。那么如何高效地了解研究领域的热点问题，学习优秀论文解决问题的思路和方法呢？我们可以使用“知网”这个众所周知的平台来进行文献的检索与阅读。使用python可以更加有效地实现文献信息的爬取。通过快速浏览相关领域文献的基本信息，我们可以从中找出感兴趣的值得我们深入研究的文章再来进行精读，极大地提高了效率。

01 选择合适的待爬取网站

我们日常使用知网的网址为：https://www.cnki.net/。但是该网址难以获取网页源代码。右键“查看网页源代码”后会跳转到如下的页面：

但是，我们发现可以从知网空间获取网页源代码。知网空间是知网的一个搜索入口，常用于文献的快速检索，网址为：https://search.cnki.com.cn/。

02 目标页面分析

以“金融科技”为例，点击搜索，对页面进行分析，按F12选择Fetch/XHR。我们找到了如下发送的请求，且发现是以post方式发送。

且携带的参数为：‘searchType’: ‘MulityTermsSearch’, ‘Article Type’: ‘’, ‘ReSearch’: ‘’, ‘ParamIsNullOrEmpty’: ‘false’, ‘Islegal’: ‘false’, ‘Content’: ‘金融科技’, ‘Theme’: ‘’, ‘Title’: ‘’, ‘KeyWd’: ‘’, ‘Author’: ‘’, ‘SearchFund’: ‘’, ‘Originate’: ‘’, ‘Summary’: ‘’, ‘PublishTimeBegin’: ‘’, ‘PublishTimeEnd’: ‘’, ‘MapNumber’: ‘’, ‘Name’: ‘’, ‘Issn’: ‘’, ‘Cn’: ‘’, ‘Unit’: ‘’, ‘Public’: ‘’, ‘Boss’: ‘’, ‘FirstBoss’: ‘’, ‘Catalog’: ‘’, ‘Reference’: ‘’, ‘Speciality’: ‘’, ‘Type’: ‘’, ‘Subject’: ‘’, ‘SpecialityCode’: ‘’, ‘UnitCode’: ‘’, ‘Year’: ‘’, ‘AcefuthorFilter’: ‘’, ‘BossCode’: ‘’, ‘Fund’: ‘’, ‘Level’: ‘’, ‘Elite’: ‘’, ‘Organization’: ‘’, ‘Order’: ‘1’, ‘Page’: ‘1’, ‘PageIndex’: ‘’, ‘ExcludeField’: ‘’, ‘ZtCode’: ‘’, ‘Smarts’: ‘’,

03 获取相应内容


base_url = 'http://search.cnki.com.cn/Search/ListResult'
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',

}


def get_page_text(url, headers, search_word, page_num):
    data = {
   
        'searchType': 'MulityTermsSearch',
        'ArticleType': '',
        'ReSearch': '',
        'ParamIsNullOrEmpty': 'false',
        'Islegal': 'false',
        'Content': search_word,
        'Theme': '',
        'Title': '',
        'KeyWd': '',
        'Author': '',
        'SearchFund': '',
        'Originate': '',
        'Summary': '',
        'PublishTimeBegin'