python爬取小说章节和其超链接_python2.7 爬虫_爬取小说盗墓笔记章节及URL并导入MySQL数据库_20161201...

2、用到模块urllib(网页下载),re正则匹配取得title及titleurl,urlparse(拼接完整url),MySQLdb(导入MySQL) 数据库

3、for 循环遍历列表 取得盗墓笔记章节title 和 titleurl

4、try except 异常处理

5、python 代码

#-*-coding: utf-8 -*-

import urllib

import re

import urlparse

import MySQLdb

rooturl='http://www.quanshu.net/book/9/9055/'

#getlist返回包含title 和titleurl的列表

def getlist(url):

html=urllib.urlopen(url).read()

html=html.decode('gb2312').encode('utf-8')

reg=r'

(.*?)'

return re.findall(reg,html)

try:

conn = MySQLdb.connect(host='localhost', user='root', passwd='Admin@', db='local_db', port=3306, charset='utf8')

with conn:

cursor = conn.cursor()

#如果存在daomubiji数据表先删除

drop_table_sql='DROP TABLE IF EXISTS daomubiji'

cursor.execute(drop_table_sql)

conn.commit()

#如果存在daomubiji数据表 先删除后接着创建daomubiji表

create_table_sql = '''

CREATE TABLE daomubiji (

ID INT(11),

title VARCHAR(255),

titleurl VARCHAR(255)

)ENGINE=INNODB DEFAULT CHARSET=utf8

'''

cursor.execute(create_table_sql)

conn.commit()

#下面调用getlist()函数获取rooturl下所有章节的titleurl 和title 组成的列表

urllist = getlist(rooturl)

#href属性取得的url不完整 仅取出了完整url的右半段 因此下面for循环变量名起名righturl

ID=0

#对列表进行遍历 取 titleurl 和title

for righturl in urllist:

title = righturl[1]

newurl = righturl[0]

#urlparse 模块的urlparse.urljoin方法将righturl 按照rooturl格式拼接成完整url

titleurl = urlparse.urljoin(rooturl, newurl)

ID+=1

print ID,title, titleurl

cursor.execute("INSERT INTO daomubiji values(%s,%s,%s)", (ID,title, titleurl))

conn.commit()

print "输入了"+ str(ID) +"条数据"

except MySQLdb.Error:

print "连接失败！"

代码执行情况：

6、MySQL数据库查询是否导入成功

SELECT * FROM daomubiji

7、执行成功