维基百科 mysql_把维基百科首页词条的数据导入mysql【Python】

title: 把维基百科首页词条的数据导入mysql【Python】

date: 2016-09-13 0:59:28

tags:

1、此文是跟着上一篇来写的，之前，已经完成了对维基百科词条的数据采集工作。

2、本文和作者示范不同的地方是，建立数据库和表格的工具我维持使用了sqlyog软件，作者用的是哪个不确定，因为视频看不清上面的名字。

3、代码如下，已经有一定说明，原作者可没提供代码哦，请把password对应的密码部分，从xxxx修改成你的真实数据库密码：

__author__ = 'Administrator'

# coding:utf-8

# 运行在python 3.5.2

import re

from urllib.request import urlopen

from bs4 import BeautifulSoup as bs

import pymysql.cursors

# 使用urllib的urlopen方法，去打开维基百科的首页，读取，并用utf-8解码

resp = urlopen('https://en.wikipedia.org/wiki/Main_Page').read().decode('utf-8')

# 使用BeautifulSoup去解析，其中html.parser是默认的解析器

soup = bs(resp, 'html.parser')

# 获取所有的/wiki/开头的a标签的href属性。

listUrls = soup.find_all('a', href=re.compile(r'^/wiki/'))

print(listUrls)

# 输出所有的词条对应的名称和URL

for url in listUrls:

# 排除.jpg JPG结尾的

if not re.search('\.(jpg|JPG)$', url['href']):

# 显示名称和网址的格式

# string只能显示一个，而get_text()可显示标签下所有的文字。

print(url.get_text(), '', 'https://en.wikipedia.org'+url['href'])

# 得到数据库的连接

connection = pymysql.connect(host='localhost',

user='root',

password='xxxx',

db='wikiurl',

charset='utf8'

)

try:

# 创建会话指针

with connection.cursor() as cursor:

# 创建sql语句

sql = 'insert into `urls` (`urlname`, `urlhref`) values(%s, %s)'

# 执行sql语句

cursor.execute(sql, (url.get_text(), 'https://en.wikipedia.org' + url['href']))

# 提交

connection.commit()

finally:

connection.close()

4、其中关键的步骤有：

A)：sqlyog中表格的制作和设置，千万注意，id的int类型，需要添加自增，否则运行程序会报错： "Field 'id' doesn't have a default value

B)数据库的插入和执行命令，因为不太熟悉，对着视频敲代码都错误了几次，并且要注意以下代码urls (urlname, urlhref)使用的是Tab键上面的那个上点号

C)当程序没有报错，在sqlyog查看表格要先刷新

D)在之前的帖子，是在python2.7下，通过sqlyog的import MySQLdb 来操作mysql的，并且，代码中的密码对应的是passwd，而这个和直接用python 运行pymysql的对应命令password是不同的，要分清楚。

5、结果图，有一丝喜悦感：