python爬取知网论文的关键词摘要_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中-Go语言中文社区...

由于实验室需要一些语料做研究，语料要求是知网上的论文摘要，但是目前最新版的知网爬起来有些麻烦，所以我利用的是知网的另外一个搜索接口

搜索出来的结果和知网上的结果几乎一样

在这个基础上，我简单看了些网页的结构，很容易就能写出爬取得代码(是最基础的，相当不完善，增加其他功能可自行增加)

网页的结构还是很清晰的

摘要信息也很清晰

我使用的是 pymysql 连接的数据库，效率也还可以

下面直接贴代码：

# -*- coding: utf-8 -*-

import time

import re

import random

import requests

from bs4 import BeautifulSoup

import pymysql

connection = pymysql.connect(host='',

user='',

password='',

db='&#