import re #正则表达式 文字匹配
from urllib import response
from urllib.request import urlopen
from bs4 import BeautifulSoup #网页解析 获取数据
import urllib #制定URL 获取网页数据
import xlwt #Excel
#豆瓣电影
#1爬取网页 2解析数据 3保存数据
def main():
baseurl="https://movie.douban.com/top250?start="
datalist=getData( baseurl)
path="C:\\Users\\lenovo\\Desktop\\豆瓣电影250.xls"
saveData(datalist,path)
findLink=re.compile(r'<a href="(.*?)">')
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#忽略换行
findTitle=re.compile(r'<span class="title">(.*)</span>')
findRating=re.compile(r'span class="rating_num" property="v:average">(.*)</span>')#评分
findJudgeNum=re.compile(r'<span>(\d*)人评价</span>')#人数
findInq=re.compile(r'<span class="inq">(.*)</span>')#简介
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)#主演
#爬取十页
def getData( baseurl):
datalist=[]
for i in range(0,10):
url=baseurl+str(i*25) #1页25个
html=askURL(url) #每一页返回的数据--10部电影
#每一页逐一解析
soup=BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="item"): #查找所有符合要求的字符串组成列表:div中,class=item
data=[] #一部电影的所有信息
item=str(item)
link=re.findall(findLink,item)[0] #item中符合link规则的字段
data.append(link)
imgSrc=re.findall(findImgSrc,item)[0]
data.append(imgSrc)
titles=re.findall(findTitle,item)#可能有中文名和英文名
if(len(titles)==2):
ctitle=titles[0]
data.append(ctitle)
otitle=titles[1].replace("/","")#去掉英文名前的/
data.append(otitle)
else:
data.append(titles)
data.append(' ')#留空外文名字
rating=re.findall(findRating,item)[0]
data.append(rating)
judgeNum=re.findall(findJudgeNum,item)[0]
data.append(judgeNum)
inq=re.findall(findInq,item) #可能为空
if len(inq)!=0:
inq=inq[0].replace("。","")#去掉简介中标点符号
data.append(inq)
else:
data.append(" ")
bd=re.findall(findBd,item)[0]
bd=re.sub('<br(\s+)?'," ",bd) #去掉<br/>
data.append(bd.strip()) #去掉空格
datalist.append(data) #一部电影信息放入list
#print(datalist)
return datalist
#得到一个页面的内容
def askURL(url):
head={
"User-Agent": "自己补充"
}
request=urllib.request.Request(url,headers=head)
html=""
try:
response=urllib.request.urlopen(request)
html=response.read().decode("utf-8")
#print(html)
except urllib.request.URLError as e:
if hasattr(e,"code"):
print(e.code)
if hasattr(e,"reason"):
print(e.reason)
#法二
#html = requests.get(url, headers=header).text
#html.encoding = 'utf-8'
return html
#保存数据
def saveData(datalist,path):
book = xlwt.Workbook(encoding="utf_8")
sheet = book.add_sheet('豆瓣电影250',cell_overwrite_ok=True)#每个cell直接覆盖以前的内容
col=('电影链接','图片链接','中文名','外文名','评分','评价人数','概括','相关信息')#元组 列的信息
for i in range(0,8):
sheet.write(0,i,col[i])#写入列名
for i in range(0,250):
print("第%d条"%(i+1))
data=datalist[i]#第i个电影的全部信息
for j in range (0,8):#每个电影八条信息遍历保存
sheet.write(i+1,j,data[j])
book.save(path)
if __name__=='__main__':
main()
爬取豆瓣电影top250写入excel
最新推荐文章于 2024-01-05 14:49:19 发布