python爬虫篇1——爬取中英文论文文献数据

程序运行截图：

mysql代码：

CREATE TABLE `article` (
  `id` int(11) NOT NULL,
  `article_time` varchar(50) DEFAULT NULL,
  `article_volume` varchar(20) DEFAULT NULL,
  `article_author` varchar(2000) DEFAULT NULL,
  `article_name_english` varchar(2000) DEFAULT NULL,
  `article_name_chinese` varchar(2000) DEFAULT NULL,
  `article_content_english` varchar(5000) DEFAULT NULL,
  `article_content_chinese` varchar(2000) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

python代码：

import random
import re
import requests
import pymysql

# 打开数据库连接
db = pymysql.connect(host='localhost',
                     port=8080,
                     user='root',
                     passwd='123',
                     db='students',
                     charset='utf8')
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()


# 功能：获取历年的论文文献名中英文，作者名，摘要中英文，时间

# 翻译接口 parm: content is english
def translator_chinese(content):
    """英文翻译成中文"""
    Tranlator_URL = "http://fy.icib