python爬取猫眼电影top100信息并保存在表格中

import urllib.request
from bs4 import BeautifulSoup
import re
import xlwt

baseurl="https://maoyan.com/board/4?offset="
datalist=[]
findtitle=re.compile('img alt="(.*?)" class="board-img"')
findtplj=re.compile(r'class="board-img" data-src="(.*?)"/>')
findstar=re.compile(r'<p class="star">(.*?)</p>',re.S)
findreleasetime=re.compile('<p class="releasetime">(.*?)</p>')
findlink=re.compile(r'href="(.*?)"')

def links(url):
    header={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"

    }

    link=urllib.request.Request(url=url,headers=header)

    req=urllib.request.urlopen(link)

    xinxi=req.read().decode("utf-8")

    xinxi1=BeautifulSoup(xinxi,"html.parser")
    #print(xinxi1)

    xinxi2=xinxi1.find_all("dd")
    #print(xinxi2)


    for i in xinxi2:
        data=[]
        i=str(i)
        title=re.findall(findtitle,i)
        tulj=re.findall(findtplj,i)
        star=re.findall(findstar,i)
        star=[x.strip() for x in star if x.strip()!='']
        releasetime =re.findall(findreleasetime,i)
        link=re.findall(findlink,i)[0]
        links="https://maoyan.com"+link
        print(links)
        data.append(title)
        data.append(tulj)
        data.append(star)
        data.append(releasetime)
        data.append(links)
        datalist.append(data)
    return datalist
workbook=xlwt.Workbook(encoding="utf-8")

sheet=workbook.add_sheet("猫眼TOP100")
col=["电影名","电影海报连接","演员表","上映时间","电影连接"]
for i in range(0,5):
    sheet.write(0,i,col[i])

for i in range(0,10):
    url=baseurl+str(i*10)
    links(url)

for i in range(0,100):
    data=datalist[i]
    for j in range(0,5):
        sheet.write(i+1,j,data[j])
workbook.save("猫眼电影top100.xls")

在这里插入图片描述

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值