爬虫②

1.保存数据到excel中

import  xlwt

workbook=xlwt.Workbook(encoding="utf-8")#创建对象
worksheet=workbook.add_sheet('sheet1')#创建工作表
worksheet.write(0,0,'你好~')#写入数据 （行，列，内容）
workbook.save('first.xls')#保存数据表

创建位置默认是同级目录下

#@Time : 2021/5/214:40
#@File : spider.py
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import  xlwt
import _sqlite3

# 指定电影网址的正则表达式
findLink=re.compile(r'<a href="(.*?)">')#r是防止错误解析/
#找图片 re.s是为了让换行符包含在字符内
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)
#片名
findTitle=re.compile(r'<span class="title">(.*)</span>')
#评分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge=re.compile(r'<span>(\d*)人评价</span>')
#影片概况
findInq=re.compile(r'<span class="inq">(.*)</span>')
#影片简介
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)


def main():
    baseUrl="https://movie.douban.com/top250?start="
    #1.爬取网页
    dataList=getData(baseUrl)
    savePath="豆瓣电影.xls"
    #3.保存数据
    saveData(dataList,savePath)
#爬取网页
def getData(baseUrl):
    dataList = []
    for i in range(0,10):
        url=baseUrl+str(i*25)
        html=askURL(url)
        #2.逐一解析数据
        soup=BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"):#查找符合要求的字符串，形成列表
                #print(item)查看
                data=[]
                item=str(item)

                link=re.findall(findLink,item)[0]# 这个是图片超链接。re库通过正则表达式来查找指定的字符串(标准，串)
                data.append(link)

                imgSrc=re.findall(findImgSrc,item)[0]
                data.append(imgSrc)

                titles=re.findall(findTitle,item)
                if len(titles)==2:
                    ctitle=titles[0]
                    data.append(ctitle)
                    otitle=titles[1].replace("/","")
                    data.append(otitle)
                else:
                    data.append(titles[0])
                    data.append("")#留空

                rating=re.findall(findRating,item)[0]
                data.append(rating)

                judgeNum=re.findall(findJudge,item)[0]
                data.append(judgeNum)

                inq=re.findall(findInq,item)
                data.append(inq)
                if len(inq)!=0:
                    data.append(inq)
                else:
                    data.append(" ")

                bd = re.findall(findBd, item)[0]
                bd = re.sub('<br(1s+)?/>(ls+)?', " ", bd)  # 去除br
                bd = re.sub('/', " ", bd)  # 替换
                data.append(bd.strip())  # 去掉空格
                dataList.append(data)

    #print(dataList)
    return dataList


#指定一个URL网页内容
def askURL(url):
    head={
         # User-Agent中间没用空格！
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like   Gecko) Chrome/84.0.4147.89 Safari/537.36    SLBrowser/7.0.0.4071 SLBChan/21"
    }
    request=urllib.request.Request(url,headers=head)
    html=""
    try:
        response=urllib.request.urlopen(request)
        html=response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html

#保存数据
def saveData(dataList,savePath):
    print("正在执行保存数据")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)#创建对象
    sheet=book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)#创建工作表 后面属性是代表允许覆盖
    col=("电影链接","图片链接","电影中文名","电影外国名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,250):
        print("第%d条"%(i+1))
        data=dataList[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])
    book.save(savePath)

if __name__ =="__main__":
    main()