爬取豆瓣电影top250写入excel

import re  #正则表达式 文字匹配
from urllib import response
from urllib.request import urlopen
from bs4 import BeautifulSoup       #网页解析 获取数据
import urllib      #制定URL 获取网页数据
import xlwt        #Excel

#豆瓣电影
#1爬取网页  2解析数据    3保存数据

def main():
    baseurl="https://movie.douban.com/top250?start="
    datalist=getData( baseurl)
    path="C:\\Users\\lenovo\\Desktop\\豆瓣电影250.xls"
    saveData(datalist,path)


findLink=re.compile(r'<a href="(.*?)">')
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#忽略换行
findTitle=re.compile(r'<span class="title">(.*)</span>')
findRating=re.compile(r'span class="rating_num" property="v:average">(.*)</span>')#评分
findJudgeNum=re.compile(r'<span>(\d*)人评价</span>')#人数
findInq=re.compile(r'<span class="inq">(.*)</span>')#简介
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)#主演


 #爬取十页
def getData( baseurl):
    datalist=[]
    for i in range(0,10):
        url=baseurl+str(i*25)   #1页25个
        html=askURL(url)   #每一页返回的数据--10部电影
        #每一页逐一解析
        soup=BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"):    #查找所有符合要求的字符串组成列表:div中，class=item
            data=[]   #一部电影的所有信息
            item=str(item)

            link=re.findall(findLink,item)[0]    #item中符合link规则的字段
            data.append(link)

            imgSrc=re.findall(findImgSrc,item)[0]
            data.append(imgSrc)

            titles=re.findall(findTitle,item)#可能有中文名和英文名
            if(len(titles)==2):
                ctitle=titles[0]
                data.append(ctitle)
                otitle=titles[1].replace("/","")#去掉英文名前的/
                data.append(otitle)
            else:
                data.append(titles)
                data.append(' ')#留空外文名字

            rating=re.findall(findRating,item)[0]
            data.append(rating)

            judgeNum=re.findall(findJudgeNum,item)[0]
            data.append(judgeNum)

            inq=re.findall(findInq,item)  #可能为空
            if len(inq)!=0:
                inq=inq[0].replace("。","")#去掉简介中标点符号
                data.append(inq)
            else:
                data.append(" ")

            bd=re.findall(findBd,item)[0]
            bd=re.sub('<br(\s+)?'," ",bd)  #去掉<br/>
            data.append(bd.strip())  #去掉空格

            datalist.append(data)  #一部电影信息放入list
            #print(datalist)
    return datalist



#得到一个页面的内容
def askURL(url):
    head={
        "User-Agent": "自己补充"
    }
    request=urllib.request.Request(url,headers=head)
    html=""
    try:
        response=urllib.request.urlopen(request)
        html=response.read().decode("utf-8")
        #print(html)
    except urllib.request.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    #法二
    #html = requests.get(url, headers=header).text
    #html.encoding = 'utf-8'
    return html


#保存数据
def saveData(datalist,path):
    book = xlwt.Workbook(encoding="utf_8")
    sheet = book.add_sheet('豆瓣电影250',cell_overwrite_ok=True)#每个cell直接覆盖以前的内容
    col=('电影链接','图片链接','中文名','外文名','评分','评价人数','概括','相关信息')#元组 列的信息
    for i in range(0,8):
        sheet.write(0,i,col[i])#写入列名
    for i in range(0,250):
        print("第%d条"%(i+1))
        data=datalist[i]#第i个电影的全部信息
        for j in range (0,8):#每个电影八条信息遍历保存
            sheet.write(i+1,j,data[j])

    book.save(path)


if __name__=='__main__':
    main()