python 爬虫源码 selenium并存储数据库_[python爬虫] Selenium爬取内容并存储至MySQL数据库...

一. 爬取的结果

爬取的地址为：http://blog.csdn.net/Eastmount

        

爬取并存储至MySQL数据库的结果如下所示：

运行过程如下图所示：

二. 完整代码分析

完整代码如下所示：

# coding=utf-8

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

import selenium.webdriver.support.ui as ui

import re

import time

import os

import codecs

import MySQLdb

#打开Firefox浏览器 设定等待加载时间

driver = webdriver.Firefox()

wait = ui.WebDriverWait(driver,10)

#获取每个博主的博客页面低端总页码

def getPage():

print ‘getPage‘

number = 0

texts = driver.find_element_by_xpath("//div[@id=‘papelist‘]").text

print ‘页码‘, texts

m = re.findall(r‘(\w*[0-9]+)\w*‘,texts) #正则表达式寻找数字

print ‘页数：‘ + str(m[1])

return int(m[1])

#主函数

def main():

#获取txt文件总行数

count = len(open("Blog_URL.txt",‘rU‘).readlines())

print count

n = 0

urlfile = open("Blog_URL.txt",‘r‘)

#循环获取每个博主的文章摘信息

while n < count: #这里爬取2个人博客信息，正常情况count个博主信息

url = urlfile.readline()

url = url.strip("\n")

print url

driver.get(url)

#获取总页码

allPage = getPage()

print u‘页码总数为:‘, allPage

time.sleep(2)

#数据库操作结合

try:

conn=MySQLdb.connect(host=‘localhost‘,user=‘root‘,

passwd=‘123456‘,port=3306, db=‘test01‘)

cur=conn.cursor() #数据库游标</