python爬取豆瓣电影top250并保存为xlsx_Python 爬虫 存储Excel - 豆瓣电影Top250

from bs4 import BeautifulSoup #网页解析，获取数据

import re #正则表达式，进行文字匹配

import urllib.request,urllib.error #制定URL，获取网页数据

import xlwt #进行excel操作

defmain():

baseurl= "https://movie.douban.com/top250?start="

#1.爬取网页

datalist =getData(baseurl)

savepath= "豆瓣电影Top250.xls"

#3.保存数据

savaData(datalist,savepath)#askURL("https://movie.douban.com/top250?start=")

#影片详情链接的规则

findLink = re.compile(r'') #创建正则表达式对象，表示规则(字符串的模式)#影片图片链接的规则

findImgSrc = re.compile(r'

findTitle = re.compile(r'(.*)')#影片评分

findRating = re.compile(r'(.*)')#找到评价人数

findJudge = re.compile(r'(\d*)人评价')#找到概况

findInq = re.compile(r'(.*)')#找到影片的相关内容

findBd = re.compile(r'

(.*?)

',re.S)#爬取网页

defgetData(baseurl):

datalist=[]for i in range(0,10): #调用获取页面信息的函数，10次

url = baseurl + str(i*25)

html= askURL(url) #保存获取到的网页源码 返回值的保存

#2.逐一解析数据

soup = BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"):#print(item) #测试：查看电影item全部信息

data = [] #保存一部电影的所有信息

item =str(item)#影片详情的链接

link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串

data.append(link) #添加链接

imgSrc =re.findall(findImgSrc,item)[0]

data.append(imgSrc)#添加图片

titles = re.findall(findTitle,item) #片名可能只有一个中文名，没有外国名

if(len(titles) == 2):

ctitle=titles[0]

data.append(ctitle)#添加中文名

otitle = titles[1].replace("/","") #去掉无关的符号，替换为空

data.append(otitle) #添加外文名

else:

data.append(titles[0])

data.append(' ') #外文名没有则留空，防止被下一列内容占掉

rating =re.findall(findRating,item)[0]

data.append(rating)#添加评分

judgeNum =re.findall(findJudge,item)[0]

data.append(judgeNum)#添加评价人数

inq =re.findall(findInq,item)if len(inq) !=0:

inq= inq[0].replace("。","") #去掉中文句号

data.append(inq) #添加概述

else:

data.append(" ") #如果没有概述，则留空占位

bd =re.findall(findBd,item)[0]

bd= re.sub('
(\s+)?'," ",bd) #去掉

bd = re.sub('/'," ",bd) #替换/

data.append(bd.strip()) #去掉前后的空格

datalist.append(data)#把处理好的一部电影信息放入datalist

print(datalist)returndatalist#得到指定一个URL的网页内容

defaskURL(url):

head= { #模拟浏览器头部信息

"User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWe"

"bKit / 537.36(KHTML, likeGecko) Chrome / 78."

"0.3904.108Safari / 537.36"}#用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器(本质上是告诉浏览器，我们可以接收什么水平的文件内容)

request = urllib.request.Request(url,headers=head)

html= ""

try:

response=urllib.request.urlopen(request)

html= response.read().decode("utf-8")#print(html)

excepturllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)returnhtml#3.保存数据

defsavaData(datalist,savepath):print("saving...")

book= xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象

sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True) #创建工作表

col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")for i in range(0,8):

sheet.write(0,i,col[i])#列名

for i in range(0,250):print("第%d条"%(i+1))

data=datalist[i]for j in range(0,8):

sheet.write(i+1,j,data[j]) #数据

book.save(savepath) #保存

if __name__ == "__main__":

main()print("爬取完毕")