使用Python3.8爬取豆瓣电影250并保存在Sqllite数据库中

最新推荐文章于 2024-08-04 17:55:11 发布

mfigods

最新推荐文章于 2024-08-04 17:55:11 发布

阅读量603

点赞数

分类专栏： Python 爬虫文章标签： python

本文链接：https://blog.csdn.net/mfigods/article/details/119786495

版权

本文介绍了如何使用Python3.8进行网络爬虫，抓取豆瓣电影Top250的数据，并详细讲解了涉及的包如bs4、re、urllib及如何将数据存储到SQLite数据库中。

摘要由CSDN通过智能技术生成

1.使用的包

1.bs4
2.re
3.urllib
4.sqllite3

2.爬取网址

https://movie.douban.com/top250

3.具体代码

from bs4 import BeautifulSoup     #网页解析，获取数据
import re       #正则表达式，进行文字匹配
import urllib.request,urllib.error      #制定URL，获取网页数据
import sqlite3  #进行SQLite数据库操作



def main():
    baseurl = "https://movie.douban.com/top250?start="
    #1.爬取网页
    datalist = getData(baseurl)
    dbpath = "movie.db"
    #3.保存数据
    saveData2DB(datalist,dbpath)

#影片详情链接的规则
findLink = re.compile(r'<a href="(.*?)">')     #创建正则表达式对象，表示规则（字符串的模式）
#影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)   #re.S 让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#找到评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)



#爬取网页
def getData(baseurl