python3不再支持mysqldb 请用pymysql和mysql.connector
4年前 (2017-04-18)
837℃
字体:小中大
python用pymysql保存数据到数据库。python3以后不支持MySQLdb形式保存数据到数据库了,可以用pymysql保存数据。下面的例子是从维基百科读取词条,再将词条信息保存到mysql数据库里。
知识点:urllib的使用,beautifulsoup的使用,pymysql的使用
截图如下
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import pymysql.cursors
resp = urlopen("https://en.wikipedia.org/wiki/Main_Page").read().decode('utf-8')
soup = BeautifulSoup(resp,"html.parser")
listUrls = soup.find_all('a',href=re.compile("^/wiki/"))
for url in listUrls:
if not re.search("\.(jpg|JPG)$",url['href']):
print(url.get_text(),"---------------",url['href'])
conn = pymysql.connect(
host='127.0.0.1',
port=3306,
user='root',
passwd='123',
db='wikiurl',
charset='utf8mb4'
)
try:
with conn.cursor() as cursor:
sql = "insert into `urls`(`urlname`,`urlhref`)VALUES (%s,%s)"
cursor.execute(sql,(url.get_text(),"https://en.wikipedia.org"+url['href']))
conn.commit()
finally:
conn.close()
如无特殊说明,文章均为本站原创,转载请注明出处
本文永久链接地址:http://www.hongxiaowei.com/xiaowei/483.html
这货来去如风,什么鬼都没留下!!!