Python爬虫（3）——将维基百科词条导入MySQL

最近需要大量爬取数据，像之前那样存储在单个文件中已不合适，本文主要以维基百科为例，将爬取的词条数据导入到MySQL中。

在用Python连接MySQL之前，需要先安装一个Python包pymsql。
在Anaconda中的安装过程如下图所示；

1.Python连接MySQL数据库

在正式开始之前，先介绍下Python连接MySQL的标准流程。在Python中将数据存储到MySQL的流程主要包括连接数据库、创建会话、断开数据库连接等。

（1）连接数据库

connection = pymysql.connect(host = 'localhost',
                             user = 'root',
                             password = '123456',
                             db = 'wikiurl',
                             charset = 'utf8mb4')

（2）创建会话

在执行数据存储操作时，该会话会一直存在，在此期间主要执行创建sql语句、执行sql语句、提交结果等操作。

try:
            #获取会话指针
            with connection.cursor() as cursor:
                #创建sql语句
                sql = "insert into `urls` (`urlname`,`urlhref`) values (%s,%s)" 

                #执行sql语句
                cursor.execute(sql,(url.get_text(),"https://en.wikipedia.org" + url['href']))

                #提交
                connection.commit() 
        finally:
            connection.close()

（3）断开数据库连接

connection.close()

2.将维基百科词条导入MySQL

代码如下所示：

# -*- coding: utf-8 -*-
"""
Created on Thu May  4 21:01:38 2017

@author: zch
"""

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re 
import pymysql.cursors

#请求URL并将结果用UTF-8编码
response = urlopen('https://en.wikipedia.org/wiki/Main_Page').read().decode('utf-8')
#用BeautifulSoup解析
soup = BeautifulSoup(response,'lxml')
#print(soup.head.title.string)
#print(soup)
#p_text = soup.find('a',href=re.compile(r"/wiki/Deaths_in_2017"))
#print(p_text.name,p_text.get_text()) 

#获取所有以/wiki/开头的a标签的href属性
listUrls = soup.find_all('a',href=re.compile('^/wiki/'))
for url in listUrls:
    #过滤掉所有以.jpg或.JPG结尾的url
    if not re.search('\.(jpg|JPG)$',url['href']):
        #输出所有Wikipedia词条和对应的URL链接
        print(url.get_text(),"---->","https://en.wikipedia.org" + url['href'])
        #获取数据库链接
        connection = pymysql.connect(host = 'localhost',
                             user = 'root',
                             password = '123456',
                             db = 'wikiurl',
                             charset = 'utf8mb4')
        try:
            #获取会话指针
            with connection.cursor() as cursor:
                #创建sql语句
                sql = "insert into `urls` (`urlname`,`urlhref`) values (%s,%s)" 

                #执行sql语句
                cursor.execute(sql,(url.get_text(),"https://en.wikipedia.org" + url['href']))

                #提交
                connection.commit() 
        finally:
            connection.close()

执行后MySQL数据库情况如下图所示：

如果在运行的过程中，出现以下认证错误的话：

URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)>

可以导入ssl模块，并做全局设置：

import ssl
ssl._create_default_https_context = ssl._create_unverified_context