# -*- coding = utf-8 -*-
# Autor : Moro
from bs4 import BeautifulSoup # 网页解析,获取数据
import re # 正则表达式,文字匹配
import urllib.request,urllib.error # 制定URL,获取网页数据
import xlwt # excel操作
import sqlite3 # 进行数据库存储
def main():
baseUrl = "https://movie.douban.com/top250?start="
# 1.爬取网页
dataList = getData(baseUrl)
savePath = ".\\豆瓣电影信息.xls"
dbPath = 'test.db'
# 3.保存数据
#saveData(savePath,dataList)
saveData_to_db(dbPath,dataList)
# 链接
findLink = re.compile(r'<a href="(.*?)">') # 创建正则表达式的对象和规则
# 图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) # 忽略换行的情况
# 标题
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
# 概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 相关内容
findBd = re.compile(r'&
一个简单的Python爬虫Demo
最新推荐文章于 2022-11-03 17:49:53 发布