Python爬虫网站多页电影名和评论

最新推荐文章于 2022-06-26 10:50:16 发布

爱豆吴

最新推荐文章于 2022-06-26 10:50:16 发布

阅读量517

点赞数

分类专栏： Python 文章标签： python 爬虫数据挖掘

本文链接：https://blog.csdn.net/Swallow_shangtou/article/details/122470564

版权

Python 专栏收录该内容

28 篇文章 0 订阅

订阅专栏

爬取豆瓣电影的电影数据，具体爬取的是电影名和被评论的内容

import requests
import re
for i in range(1,6):
   index=(i-1)*20
   url="https://movie.douban.com/review/best/?start={}".format(index)
   d={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
   }
   resp=requests.get(url,headers=d)
   # print(resp.text)
   obj=re.compile(r'<div data-cid=.*?<h2><a href=.*?>(?P<name>.*?)</a></h2>.*? <p class=.*?剧透</p>(?P<comment>.*?)&nbsp;',re.S)
   result=obj.finditer(resp.text)
   for i in result:
      r=i.groupdict()
      r["comment"]=r["comment"].strip()
      print(r)