一个简单的Python爬虫Demo

# -*- coding = utf-8 -*-
# Autor : Moro

from bs4 import BeautifulSoup # 网页解析，获取数据
import re # 正则表达式，文字匹配
import urllib.request,urllib.error # 制定URL，获取网页数据
import xlwt # excel操作
import sqlite3 # 进行数据库存储

def main():
    baseUrl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    dataList = getData(baseUrl)
    savePath = ".\\豆瓣电影信息.xls"
    dbPath = 'test.db'
    # 3.保存数据
    #saveData(savePath,dataList)
    saveData_to_db(dbPath,dataList)

# 链接   
findLink = re.compile(r'<a href="(.*?)">') # 创建正则表达式的对象和规则
# 图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) # 忽略换行的情况
# 标题
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
# 概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 相关内容
findBd = re.compile(r'&